python爬虫简介

1 前提

1.1 概念

通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。

1.2 风险

1.2.1 干扰被访问网站的正常运营

1.2.2 爬取了受到法律保护的数据

1.3 注意事项

1.3.1 优化程序，避免干扰被访问网站的正常运行

1.3.2 审查爬取到的数据，停止爬取涉及到用户或者商业机密的敏感信息

2 使用

2.1 在使用场景中的分类

2.1.1 通用爬虫

抓取系统重要组成部分，抓取的是一整张页面数据。

2.1.2 聚焦爬虫

建立在通用爬虫的基础之上，抓取的是页面中特定的局部内容。

2.1.3 增量式爬虫

检测网站中数据更新的情况，只抓取网站中最新更新出来的数据。

2.2 robots.txt协议

君子协议，规定网站中可以爬取和不可以爬取的数据。

https://www.baidu.com/robots.txt