python网络爬虫学习笔记（1）爬虫概述 安装 Python基础

网络爬虫学习笔记（1）

1 资料

《Python网络爬虫从入门到实践》唐松，陈志铨。主要面向windows平台下的python3。

2 笔记

2-1 爬虫概述

1. （约2016年）网络爬虫个人使用和科研范畴基本不存在问题，但商业盈利范畴就要看对方了。
2. 通过网站的Robots协议（爬虫协议）可以知道可以和不可以抓取的内容，例如淘宝的[link]https://www.taobao.com/robots.txt。其中User-Agent: 为允许的url，Allow:为允许的内容，Disallow: 为不允许。Disallow: /为禁止抓取允许以外的内容。 Disallow: /abc 表示禁止访问收录abc.php、abc.html和abc文件夹下的所有文件。 Disallow: /abc/ 表示仅禁止访问abc文件夹下的所有文件，但是不限制abc.php、abc.html文件。
3. 爬取的时候要遵循Robots协议，约束网络爬虫程序速度；使用数据时必须遵守网站的知识产权。
4. 爬虫流程：1）获取网站，2）解析网页（提取数据），3）存储数据。
5. 4-1）获取网站——基础技术：request、urllib、selenium（模拟浏览器）；进阶技术：多进程多线程抓取、登陆抓取、突破IP封禁、服务器抓取。
6. 4-2）解析网页——基础技术：re正则表达式、BeautiSoup、lxml
7. ；进阶技术：解决中文乱码。
8. 4-3）存储数据——基础技术：txt文件、csv文件；进阶技术：MySQl、MongoDB。

2-2 安装

1. 安装Anaconda来一键安装python编码环境。利用pip(window进cmd，Mac进terminal）安装bs4、request、lxml等第三方库。

 pip install bs4
 pip install request
 pip install lxml

2. 编译器Jupyter（其他还有Notepad