python网络爬虫入门之request.Request

python网络爬虫入门之request.Request

urllib.request.Request

作用

创建请求对象，重新构造User-Agent(使其更像是人类正常点击)

什么是User-Agent该如何设置

1.当我们向网站发送请求时所传递的信息见下图(也是反爬的一种)
2.在网页里搜索user-Agent大全里面很多

参数

1.URL:所要请求的URL地址
2.headers:请求头

使用流程

1.构造请求对象(重新构造User-Agent)
2.发送请求获取响应对象(urlopen)
3.获取响应对象内容

代码实现

#导入模块
from urllib import request

#定义常用变量
url = 'https://www.baidu.com/'
headers = {'User-Agent':'*****'}#"*****"是我们所要改动的值

#创建请求对象（包装请求）-Request
req = request.Request(url=url,headers=headers)

#发请求，获取响应对象 -urlopen
res = request.urlopen(req)

#读取内容read
html = res.read().decode('utf-8')
print(html)