Python爬虫 | requests库和User Agent

回复爬虫来获取本篇文章的源代码。

在上一篇文章中，我们学习了爬取一些简单的网页。当然，有爬虫就有反爬虫。像第一篇文章中，我们试图爬取百度主页就只得到了一点信息。今天我们来学习绕过一些简单的反爬虫机制。

首先我们了解一下你是怎么上网的。

首先，你会输入一个网址让浏览器访问。网址其实本身是没有任何意义的，只是为了让人们更好记忆，浏览器也并不对网址感兴趣，它只会根据IP地址来访问网页。

浏览器会在你访问过的网页中寻找网址对应的IP地址，如果没有找到，就是说你没有访问过这个网页的话，它就去询问DNS。DNS的全称是域名服务器，是专门用于管理网址对应的IP地址的。它类似于接线员，把浏览器接到IP地址对应的计算机。（服务器。其实服务器就是配置比普通计算机高的计算机）当然，如果你访问的界面根本就不存在，DNS就返回一个Http404错误，它在你访问不存在的网页时出现。接着，浏览器会给服务器发一个东西，叫做Http响应报文，用于请求你访问这个网页。这里面大概是这样的：

你可以在检查元素中的网络部分找到它。

如果服务器同意你访问，你就可以开始访问这个网页了。

当然，有时候也会这样：

这种问题可能是由于服务器已经崩溃了，从而没有人允许你访问这个网页。（