Python 爬虫发送网络请求，获取网页内容的方法

1.urllib.request.Request

此方法用来发起网络请求加入信息的内容，最常用的是在其中加入url地址和headers。 其常用方法有：

url ：想要请求的url
headers：伪装成浏览器访问（默认User-Agent是Python-urllib），如果需要伪装成浏览器内核那么请如下：

红色的框框里的扔进到headers里面，其形式是一个数组：

2.urllib.request.urlopen

此方法用来获取网页的内容，urlopen（参数），其中的参数可以是一个地址，比如：urllib.request.urlopen(“https://www.baidu.com”)
也可以：
url = “https://www.baidu.com”
req = urllib.request.Request(url, headers=headers)
page = urllib.request.urlopen(req )
也可以对其内容进行编码，防止获取内容乱码：
page = page.decode(“GBK”)
在后面可以跟着.read().decode(“UTF8”)
以这种形式表达，读，和解码形式

3.requests

常用的有get post 方法，最通常的方法是通过r=request.get（url）构造一个向服务器请求资源的url对象。