python爬虫工程师--手把手教会你--03用Request发送请求.py

首先，强调一点，resp = urlopen(url) 没有请求头User-agent相关参数，而Request里面有该参数，改变咱们的User-agent,否则访问地址时对面显示的就是python程序访问，会被截胡，不让咱们访问。

使用urllib.request.urlopen发送请求时，可以将参数封装到一个Request对象中。

参数包含：

• url 发送的请求链接
• headers 请求头信息
• data 请求数据

from urllib.request import urlopen,Request

url = 'http://httpbin.org/get' # 用该测试网址查看自己的User-Agent
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0' 
headers = { 'User-Agent' : user_agent } 

request = Request(url, headers=headers) 
response = urlopen(request) 
page = response.read().decode() 

print(page)


​

​

User_agent的寻找方法！！！

• 打开浏览器，右击，点检查，点击网络

• 点击名称，找到User-agent

• copy