网络爬虫

网络爬虫
网络爬虫的尺寸：
Requests库：小规模，数据量小，爬取速度不敏感，爬网页
Scrapy库：中规模，数据规模较大，爬取速度敏感，爬网站
定制开发：爬取全网，如google,baidu

Robots协议
Robots Exclusion Standard网络爬虫排除标准
案例：
https://www.jd.com/robots.txt
User-agent: * //对于任何网络爬虫，遵守user-agent
Disallow: /?*
Disallow: /pop/.html
Disallow: /pinpai/.html?*

User-agent: EtaoSpider //这个爬虫不允许爬任何
Disallow: /
User-agent: HuihuiSpider
Disallow: /
User-agent: GwdangSpider
Disallow: /
User-agent: WochachaSpider
Disallow: /