Python爬虫入门5：模拟浏览器访问网站

☞ ░ 前往老猿Python博客 https://blog.csdn.net/LaoYuanPython ░

一、引言

在前面两节中分别介绍了使用Google浏览器和IE浏览器怎么获取网站访问的http相关报文信息，本节介绍利用获取的信息怎么在Python应用中构建http访问报文头，并模拟浏览器访问网站。本节介绍的获取信息以Google浏览器获取的http信息为准，相当于应用访问网站是模拟谷歌浏览器进行访问，IE的原理一样，大家可以自行处理。

二、从浏览器中获取到http请求报文的报文头信息

利用《https://blog.csdn.net/LaoYuanPython/article/details/113055084 Python爬虫入门3：使用google浏览器获取网站访问的http信息》介绍的方法复制访问网站的http请求头信息，以访问https://blog.csdn.net/LaoYuanPython为例获取的请求报文头内容如下（其中cookies信息只取了部分，以省略号替代）：

:authority: blog.csdn.net
:method: GET
:path: /LaoYuanPython
:scheme: https
accept: text/html,application/xht