爬虫的初始深入

爬虫再使用场景中的分类

1.通用爬虫：抓取系统重要组成部分。抓取的是一整张页面数据。
2.聚焦爬虫：是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。
3.增量式爬虫：检测网站中数据更新的情况。只会抓取网站中最新更细出来的数据。

爬虫的矛盾

反爬机制：

相关的门户网站通过定制相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取。

反反爬策略：

爬虫程序通过制定相关的策略或者技术手段用来破解门户网站具备的反爬机制，从而获取门户网站中的相关数据。

robots.txt协议

robots协议明确规定了网站中哪些数据可以被网站爬取，哪些数据不可以被爬取。
访问方法：域名/robots.txt 例如：www.taobao.com/robots.txt

爬虫带来的风险：

1.爬虫干扰了被访问网站的正常运营。
2.爬虫抓取了受到法律保护的特定类型的数据或信息。

如何在使用编写爬虫的过程中避免风险

1.时常优化自己的程序，避免干扰被访问网站的正常运行。
2.在使用或者传播爬取到的数据时，审查抓取到的内容，如果发现涉及到用户隐私或者商业机密等敏感内容需要及时停止爬取或传播。