Python网络爬虫(2)——网络爬虫引发的问题

最新推荐文章于 2023-12-13 00:06:35 发布

BlvinDon

最新推荐文章于 2023-12-13 00:06:35 发布

阅读量410

点赞数

分类专栏： Python 文章标签：网络爬虫引发的问题

本文链接：https://blog.csdn.net/florida_tang/article/details/80319397

版权

Python 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

网络爬虫的尺寸
(1)小规模、数据量小、爬取速度不敏感：Requests库
(2)中规模、数据规模较大、速度敏感：Scrapy库
(3)大规模、搜索引擎、爬取速度是关键：只能定制开发
网络爬虫的限制
(1)来源审查 User-Agent字段
(2)发布公告 Robots协议网络爬虫排除标准
suning的Rosbots：

User-agent: EtaoSpider
Disallow: /

User-Agent: *
Disallow: /pinpai/*-0-0-0-*
Disallow: /detail/
Disallow: /pds-web/
Disallow: /webapp/
Disallow: /*?*
Disallow: /emall/cprd*
Disallow: /emall/sprd*
Disallow: /emall/cuxiao_10052_10051_*