网络爬虫之盗之有盗

网络爬虫的尺寸：
一般来讲，这个尺寸可以分为三类，
    第一类是比较小规模的，数据量小爬取的速度不敏感，一般用的是requests库，适用于我们自己爬取网页，玩转网页，
    第二类是中规模的，数据规模较大的，爬去速度敏感的scrapy库，适用于我们进行爬取网站。
    第三类是大规模的，搜索引擎爬取的速度关键，这样的，一般需要定制开发
    网络爬虫的限制：
    1，来源审查，利用user-agent进行限制，检查来访的http协议头的user-agent域，只响应浏览器或友好爬虫的访问，但是对后期维护人员，就需要一定的技术能力的支撑。
    2.发布公告：robots协议(在网站的根目录下)
    告知所有的爬虫网站的爬取策略，要求爬虫们遵守。
    user-agent:*
    disallow：不允许爬取