为什么你会被限制登录网页版微信？

有一个词叫做“三月爬虫”，指的是有些学生临到毕业了，需要收集数据写毕业论文，于是在网上随便找了几篇教程，学了点requests甚至是urllib和正则表达式的皮毛，就开始写爬虫疯狂从网上爬数据。这些爬虫几乎没有做任何隐藏自己的举动，不换IP，不设置headers，不限制速度，极易被有反爬的网站封锁，极易给没反爬的小网站造成流量压力。

对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：1044907824，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。

后来，他们又不知道看了哪篇文章，知道要使用代理IP，要修改UserAgent。于是，他们真的就只在headers设置UserAgent，其他项一概不设置。你给他指出来，他还振振有词：你看我这样能爬到数据啊，headers里面其他项目没有用。

事实真的是这样吗？

我们来做个实验，首先使用Chrome访问httpbin.org/headers 这个网站可以显示当前你的headers。运行效果如下图所示：

然后，再使用requests不设置headers请求这个URL，运行效果如下图所示：