Blvin.Don

My research interests include some sub-fields of machine learning and Robots.

Python网络爬虫(2)——网络爬虫引发的问题

网络爬虫的尺寸
(1)小规模、数据量小、爬取速度不敏感 :Requests库
(2)中规模、数据规模较大、速度敏感:Scrapy库
(3)大规模、搜索引擎、爬取速度是关键:只能定制开发
网络爬虫的限制
(1)来源审查 User-Agent字段
(2)发布公告 Robots协议 网络爬虫排除标准
suning的Rosbots:

User-agent: EtaoSpider
Disallow: /

User-Agent: *
Disallow: /pinpai/*-0-0-0-*
Disallow: /detail/
Disallow: /pds-web/
Disallow: /webapp/
Disallow: /*?*
Disallow: /emall/cprd*
Disallow: /emall/sprd*
Disallow: /emall/cuxiao_10052_10051_*
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/FLORIDA_tang/article/details/80319397
个人分类: Python
想对作者说点什么? 我来说一句

《精通Python网络爬虫》源码

2017年10月24日 27KB 下载

精通python网络爬虫pdf

2017年11月15日 101.66MB 下载

Python网络爬虫实战胡松涛编著.pdf

2017年12月14日 31.25MB 下载

没有更多推荐了,返回首页

不良信息举报

Python网络爬虫(2)——网络爬虫引发的问题

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭