中国程序猿不得不看的Github项目之一：爬虫学习如何避免从入门到入狱

非法律专业的人，在什么时候最有动力学习法律？

在大数据行业，这一答案可能是“当听说同行被抓的时候”。

在大数据行业，还有句话是“爬虫玩得好，监狱进得早。数据玩得溜，牢饭吃个够”。

随着大数据和人工智能的火爆，近年来网络爬虫也被越来越多的人熟知。

在行业内被广泛使用的网络爬虫技术，理论上其实是一项中立的网络信息搜集技术。

它与计算机病毒不同，在大多数情况中，使用爬虫技术都是不违法的。

而且我们生活中几乎每天都在爬虫应用，据说，互联网上 50%以上的流量都是爬虫创造的。

比如，你在百度中搜索到的内容绝大部分都是爬虫采集下来的，可以说无爬虫就无互联网的繁荣。

但随之也出现了一个问题——爬虫也是分好坏善恶的，法律的边界在哪里？

像谷歌这样的搜索引擎爬虫，它爬取网站的所有页面，提供给其他用户进行快速搜索和访问，给网站带来流量。

这种让互联网上的搜索与被搜索和谐相处的爬虫，就被定义为“善意爬虫”。

但类似某快递公司员工利用职务之便，用爬虫在后台抓取了25万条用户信息，这种就是“恶意爬虫”了。

在上述案件被发现后，该员工被定为主犯抓捕，公司法人被定为从犯一起抓捕。

公司法人没有参与这件事，不是第一责任人，但仍然是责任关系方。

从量刑上看，主犯是3-7年，从犯是1-2年。

由腾讯云鼎实验室的统计可见，出行类恶意爬虫流量占比高于电商与社交行业，居首位。

常见的有火车购票平台12306、各大航空公司、实时公交信息等。

这些年在12306购票时一次比一次奇葩的验证码，正是为了阻止爬虫而设置的。

尽管我国目前没有针对爬虫技术出台专门的管理规定，但是一旦触及到某些红线，相关人员仍然要承担法律责任。

2018年，全国首宗“爬虫”软件案原告获赔50万元。

在该案件中，被告“车来了”App就是利用爬虫，大量获取了竞争对手的公交软件App“酷米客”的实时公交信息数据。

由此可见，即使使用爬虫要承担很大的风险，但仍然有人前赴后继。

各大招聘网站上显示，爬虫工程师的缺口很大，可见该职业现在在行业内算是炙手可热。

不过，自今年9月份开始，一场迅疾浩大的风暴便席卷了大数据行业。

多家知名公司相关人员被抓或被调查，这些机构均涉及爬虫技术的应用。

9月6号，杭州魔蝎数据科技有限公司疑被警方控制，CEO周江翔被警方带走调查。

同日，新颜科技人工智能科技有限公司CEO黄向前也被警方要求协助调查。

9月11号，公信宝实体运营公司——杭州存信数据科技有限公司被查封。

9月12日，天翼征信的总经理、副总经理以及市场人员被警察带走调查。

网络爬虫的合规合法问题，让整个行业如履薄冰。

在Github上，就有这么一个专为中国程序员创立的项目【中国爬虫违法违规案例汇总】。

作者整理了所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。

其中还根据案例内容对禁区进行了归类——为违法违规组织提供爬虫相关服务、个人隐私数据抓取与贩卖、利用无版权的商业数据获利等。
从这些公开案例中，大家或许可以得到一些参考：
比如，爬取网上公开的信息，算不算犯罪呢？
老板安排我爬取别人网站上的信息，算不算犯罪呢？

此外，该项目还引用了相关法律法规介绍，以及专业律师发表的相关观点。
在没有具体官方规定出台的前提下，这些资料可以暂时用来帮助中国爬虫行业从业者了解相关情况，避免触碰红线。

技术虽然是无罪的，但是一旦把技术用到了错的地方，代价也是非常巨大的。
只需要记住一句话：有风险的行业，请谨慎进入。

关于Python的技术储备

在这里给大家分享一些免费的课程供大家学习，下面是课程里面的截图，扫描最下方的二维码就能全部领取，如果图片失效点击蓝色字体便可跳转哦~点这里哦

1.Python所有方向的学习路线

2.学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

3.学习资料

4.实战资料

实践是检验真理的唯一标准。这里的压缩包可以让你再闲暇之余帮你提升你的个人能力。

5.视频课程

好啦今天的分享就到这里结束了，快乐的时光总是短暂呢，想学习更多课程的小伙伴不要着急，有更多惊喜哦~