Python网络爬虫(2)——网络爬虫引发的问题

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/FLORIDA_tang/article/details/80319397

网络爬虫的尺寸
(1)小规模、数据量小、爬取速度不敏感 :Requests库
(2)中规模、数据规模较大、速度敏感:Scrapy库
(3)大规模、搜索引擎、爬取速度是关键:只能定制开发
网络爬虫的限制
(1)来源审查 User-Agent字段
(2)发布公告 Robots协议 网络爬虫排除标准
suning的Rosbots:

User-agent: EtaoSpider
Disallow: /

User-Agent: *
Disallow: /pinpai/*-0-0-0-*
Disallow: /detail/
Disallow: /pds-web/
Disallow: /webapp/
Disallow: /*?*
Disallow: /emall/cprd*
Disallow: /emall/sprd*
Disallow: /emall/cuxiao_10052_10051_*

没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试

关闭