爬虫都会违法吗？什么是爬虫违法的界限？

写爬虫的小伙伴要注意，爬虫一时爽，但如果你的爬虫触犯了法律，可是要承担责任的哦，那么什么样的爬虫才算是安全的爬虫呢？
1、爬虫访问频次要控制，别把对方服务器搞崩溃了虽然你爬取的信息都是公开的，也不涉及公民隐私，爬取的数据也不用于违法获利，只是自己弄着玩，但是如果你的爬虫太疯狂了，一分钟请求1万次，导致对方服务器应接不暇，不能处理正常业务了，这种就属于违法行为，已经等同于进行黑客攻击了，对方网站不能正常工作了，损害了对方的利益。
2、 涉及到个人隐私的信息你不能爬，这很好理解，你希望你自己的电话号，身份证号，家庭住址，工作单位，行踪轨迹这些隐私信息被别人用爬虫抓取么？当然不希望，别人抓了你的这些信息，你肯定回想报警了吧，所以你不要去做那个坏蛋。
3、 突破网站的反爬措施，后果很严重正规的网站都会在根目录下放置 robots.txt，规定了哪些能爬，哪些不能爬，谁可以爬。
不过有些网站没有做特别严厉的反爬措施，如果你偷偷的爬一点东西，不影响它的正常服务，它也懒得找你麻烦，但那种反爬特别严重的，最好别去爬，如果你真的利用你的高智商突破了反爬措施，那么你已经违法了。
4、 不要用爬取的数据做不正当竞争，比如你把某点评的评论数据都爬下来了，然后自己搞了一个xx点评，肯定不行，人家辛辛苦苦的积累的数据，你轻轻松松搬运来，跟人家竞争，你不违法谁违法。
5、 付费内容不要抓，既然是付费内容，说明这东西价值很高，付费才能看，你爬下来私自传播，就对网站造成了潜在损失。
6、最后一条，突破网站反爬措施的代码，最好不要上传到网上，要是想做坏事的人利用了你的代码，入侵了网站，那么，这种情况下，你也是有责任的，这个听起来有点冤，但确实存在这样的风险。

​​​​​​​