Python网络爬虫从入门到实践 -- chapter 1 -- 网络爬虫入门

1 Robots协议

Robots协议（爬虫协议）全称网络爬虫排除标准，网站通过Robots协议告诉搜索引擎哪些页面可以抓取（Allow：/），哪些不能抓取（Disallow：/）。这个协议是国际互联网界遵守的道德规范。

在进行爬虫时要对自己的爬虫行为自我管理，过快或者过于密集的网络爬虫会对服务器产生巨大的压力。因此要遵守Robots协议，约束爬虫速度；使用爬到的数据时遵守网站的知识产权。

 

2 Python爬虫的流程

① 获取网页

给网站发送一个请求，网站返回整个网页的数据

② 解析网页（提取数据）

从整个网页的数据中提取想要的数据

③ 存储数据

 

3 三个流程的技术实现

① 获取网页

基础技术：request、urllib、selenium（模拟浏览器）

进阶技术：多进程多线程抓取、登录抓取、突破IP封禁和服务器抓取

② 解析网页（提取数据）

基础技术：re正则表达式、BeautifulSoup和lxml

进阶技术：解决中文乱码

③ 存储数据

基础技术：存入txt文件和存入csv文件

进阶技术：存入mysql数据库和存入MongoDB数据库