爬虫是合法的还是违法的??
- 爬虫在法律中是不被禁止的
- 具有一定的违法风险
- 风险体现在如下的两方面 :
- 爬虫干扰到了被访问网站的正常运营
- 爬虫抓取到了受到法律保护的特定类型的数据或者信息
爬虫在使用场景中的分类
- 通用爬虫:抓取系统重要组成部分,抓取的是一整张页面数据。
- 聚焦爬虫:是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。
- 增量式爬虫:检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。
robots.txt 协议
robots.txt 协议规定了网页中哪些数据是可以被爬取的
下面就以B站来举例子
B站官网网址:
https://www.bilibili.com
我们在网址后面加上 /robots.txt ,就可以查看哪些数据可以被爬取了
https://www.bilibili.com/robots.txt