爬虫违法不要学了？资深程序员：请不要造谣，高级Python面试题及答案

在大数据行业内被广泛使用的网络爬虫技术，到底是什么呢？其实，网络爬虫，是互联网时代被普遍运用的一项网络信息搜集技术。该项技术最早应用于搜索引擎领域，是搜索引擎获取数据来源的支撑性技术之一。简单来说，它包含三个步骤：采集信息、数据存储和信息提取。“爬虫”作为一种计算机技术，理论上来说具有技术中立性，在法律上也从未被明令禁止。它不像计算机病毒，计算机病毒本身就是负面的、破坏性的，而爬虫是中立的。

那么使用爬虫技术有什么风险呢？如果在获取数据的过程中，无法甄别哪些数据可以爬取，哪些数据禁止爬取，甚至为爬取数据而破解被爬服务器的防护措施，或者破坏被爬服务器的信息系统，就会触及监管红线。

02 数据爬虫主要涉及的三类罪名

对爬虫技术应用不当的企业，可能涉及的罪名有三个：

一、侵犯公民个人信息罪

1.爬取的数据信息属于公民个人信息范畴

公民个人信息，是指以电子或者其他方式记录的，能够单独或者与其他信息结合识别特定自然人身份，或者反映特定自然人活动情况的各种信息，包括姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等。

2.利用爬虫技术获取的公民个人信息为非法获取的

利用爬虫技术收集公民个人信息数据，应当获得被收集人的同意，尤其是在数据中包含身份证号、信用信息等敏感数据的情况下，还需要获得明示同意。同时，利用网络漏洞非法下载、非法购买等行为，都属于“非法获取”公民个人信息。

3.非法获取公民个人信息达到**“情节严重”**以上的标准

非法获取、出售或者提供行踪轨迹信息、通信内容、征信信息、财产信息五十条以上，非法获取、出售或者提供住宿信息、通信记录、健康生理信息、交易信息等其他可能影响人身、财产安全的公民个人信息五百条以上，非法获取、出售或者提供上述规定以外的公民个人信息五千条以上，都属于“情节严重”。

4.相关法律依据：《刑法》第253条

【侵犯公民个人信息罪】违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

违反国家有关规定，将在履行职责或者提供服务过程中获得的公民个人信息，出售或者提供给他人的，依照前款的规定从重处罚。

窃取或者以其他方法非法获取公民个人信息的，依照第一款的规定处罚。

单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照该款的规定处罚。

合规建议：

利用爬虫技术获取公民个人信息的，应该严格遵守相关法律、行政法规、部门规章的规定，否则极易落入“非法获取”公民个人信息的法律风险范畴。

此外，关于在公民个人信息已合法公开的情况下，利用爬虫技术对其进行抓取是否构成非法获取这一问题，暂时没有明确答案，但《民法典人格权编》（草案三次审议稿）第816条写到：**行为人收集、处理自然人自行公开的或者其他已经合法公开的信息不承担民事责任，但是该自然人明确拒绝或者处理该信息侵害其重大利益的除外。**从立法走向上来判断，收集已合法公开的个人信息应不属于违法，但在立法尚不完善的阶段，仍建议谨慎使用爬虫技术抓取公开的个人信息。

二、构成非法获取计算机信息系统数据罪

1．利用爬虫技术侵入计算机信息系统获取数据，或采用其他技术手段获取计算机信息系统数据

任何组织或个人不得危害计算机信息系统安全；不得破坏计算机及其相关的配套的设备、设施（含网络）安全，破坏其运行环境安全、信息安全，影响其功能正常发挥。因此企业若在爬取数据时，存在危害计算机信息系统安全的行为，包括破解被爬企业的防抓取措施、加密算法、技术保护措施等，则很有可能被认定为“侵入或以其他技术手段获取计算机信息系统数据”。

2．非法获取计算机信息系统数据达到**“情节严重”**以上的标准

获取支付**结算、证券交易、期货交易等网络金融服务的身份认证信息十组以上，**或获取其他的身份认证信息五百组以上的，均属于“情节严重”。

3. 相关法律依据：《刑法》第285条

【非法侵入计算机信息系统罪】违反国家规定，侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，处三年以下有期徒刑或者拘役。

【非法获取计算机信息系统数据、非法控制计算机信息系统罪】违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

【提供侵入、非法控制计算机信息系统程序、工具罪】提供专门用于侵入、非法控制计算机信息系统的程序、工具，或者明知他人实施侵入、非法控制计算机信息系统的违法犯罪行为，而为其提供程序、工具，情节严重的，依照前款的规定处罚。

单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照该款的规定处罚。

合规建议：

严格禁止通过技术手段绕过服务器的访问限制，或破解被爬网站为保护数据而采取的加密算法及技术保护措施，从而对被爬网站受保护的计算机信息系统中的数据进行爬取。

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

同时减轻大家的负担。**

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-dYVq9Mrw-1711021021071)]