python 爬虫之“盗亦有道”

最近有一条消息炸了，因为一段爬虫代码，整个公司200多人被端了。那么什么爬虫是违法的？
如果爬虫程序采集到个人信息并将之用于非法途径的，则构成非法获取公民个人的违法行为。
重点关注：以下情况，爬虫可能违法，严重的甚至构成犯罪。

1. 爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施，非法获取相关信息，情节严重的，有可能构成“非法获取计算机信息系统数据罪”。
   2.爬虫程序干扰被访问的网站或系统正常运行，后果严重，触犯刑法，构成“破坏计算机信息系统罪”。
   3.爬虫采集的信息属于公民个人信息，有可能构成非法获取公民个人信息的违法行为，情节严重的，有可能构成“侵犯公民个人信息罪”。

1. 爬虫引发的问题
   性能骚扰，法律风险，隐私泄露
2. 网络爬虫的限制

• 来源审查：判断User-Agent进行限制
  检查来访HTTP协议头的User-Agent域，只响应浏览器或友好爬虫的访问。
• 发布公告：Robots协议
  告知所有爬虫网站的爬取策略，要求爬虫遵守
  Robots协议在在网站目录下的robots.txt文件中，例如京东：http://www.jd.com/robots/txt。

3. 原则上类人行为可不参考Robots协议，用于商业爬虫必须遵守协议，否则有面临法律的风险。