0.爬虫是否合法

爬虫本身不违法，将爬取的数据用于非法途径违法。合法的爬虫需要遵循下面几点：

一、遵守 Robots 协议

User-agen. : * 无论所有的来源都遵循下面的协议

Disallow: /?*不允许爬起以？开头的路径

User-agent: Wandoujia Spider

Disallo. : /不允许这种爬虫，爬起任何资源

对于没有robots协议的网站，是允许网络爬虫爬取的，但不要去进行网络攻击，导致服务器瘫痪

 二、不能进行恶意的DDOS网站攻击

三、不能将爬取的敏感数据非法售卖