Python网络爬虫(2)——网络爬虫引发的问题

网络爬虫的尺寸
(1)小规模、数据量小、爬取速度不敏感 :Requests库
(2)中规模、数据规模较大、速度敏感:Scrapy库
(3)大规模、搜索引擎、爬取速度是关键:只能定制开发
网络爬虫的限制
(1)来源审查 User-Agent字段
(2)发布公告 Robots协议 网络爬虫排除标准
suning的Rosbots:

User-agent: EtaoSpider
Disallow: /

User-Agent: *
Disallow: /pinpai/*-0-0-0-*
Disallow: /detail/
Disallow: /pds-web/
Disallow: /webapp/
Disallow: /*?*
Disallow: /emall/cprd*
Disallow: /emall/sprd*
Disallow: /emall/cuxiao_10052_10051_*
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/FLORIDA_tang/article/details/80319397
个人分类: Python
上一篇Python网络爬虫(1)——Requests及爬虫通用代码框架
下一篇Python网络爬虫(3)——以爬虫的角度看待网络内容
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭