网络爬虫是否合法

最新推荐文章于 2024-08-21 15:28:57 发布

zb8523

最新推荐文章于 2024-08-21 15:28:57 发布

阅读量1.3k

点赞数

本文链接：https://blog.csdn.net/qq_45947338/article/details/104427743

版权

网络爬虫在法律层面尚处建设中，个人或科研用途通常无碍，但商业用途需谨慎，可能涉及违法。遵守Robots协议至关重要，过度或频繁爬取可能导致IP被封或法律纠纷。网站与爬虫间的博弈日益激烈，大型企业开始限制爬虫以保护数据。爬虫开发者应约束行为，避免侵犯知识产权。

摘要由CSDN通过智能技术生成

网络爬虫合法吗？
网络爬虫领域目前还属于早期的拓荒阶段，虽然互联网世界已经通过自身的协议建立起一定的道德规范（Robots协议），但法律部分还在建立和完善中。从目前的情况来看，如果抓取的数据属于个人使用或科研范畴，基本不存在问题；而如果数据属于商业盈利范畴，就要就事而论，有可能属于违法行为，也有可能不违法。

1.2.1　Robots协议

Robots协议（爬虫协议）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。该协议是国际互联网界通行的道德规范，虽然没有写入法律，但是每一个爬虫都应该遵守这项协议。

下面以淘宝网的robots.txt为例进行介绍。

这里仅截取部分代码，查看完整代码可以访问https://www.taobao.com/robots.txt。

User-agent: Baiduspider #百度爬虫引擎
Allow: /article #允许访问/article.htm、/article/12345.com
Allow: /oshtml
Allow: /ershou
Disallow: /product/ #禁止访问/product/12345.com
Disallow: / #禁止访问除Allow规定页面外的其他所有页面

User-Agent: Googlebot #谷歌爬虫引擎
Allow: /article
Allow: /oshtml
Allow: /product #允许访问/product.htm、/product/12345.com
Allow: /spu
Allow: /dianpu
Allow: /wenzhang
Allow: /oversea
Disallow: /
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
在上面的robots文件中，淘宝网对用户代理为百度爬虫引擎进行了规定。