User-Agent请求头
当我们在编写爬虫时有时会被网页当成爬虫或者知道不是人为操作，这时我们就要使用User-Agent请求头来包装我们的爬虫。
例：
import requests #导入requests库
#定义请求的url
url='https://www.xicidaili.com/nn'
#发送get请求
result=requests.get(url)
#获取响应结果
print(result)
print(result.text)#打印文本
运行结果：
<Response [503]>
<html>
<head><title>503 Service Temporarily Unavailable</title></head>
<body bgcolor="white">
<center><h1>503 Service Temporarily Unavailable</h1></center>
<hr><center>nginx/1.1.19</center>
</body>
</html>
可见这个网页返回503，并不是像之前那样访问成功。
这时我们使用User-Agent试试看。
如何获取User-Agent?
进入浏览器->进入网页->F12
在代码中加入
import requests #导入requests库
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0'
}
#定义请求的url
url='https://www.xicidaili.com/nn'
#发送get请求
result=requests.get(url,headers=headers)
#获取响应结果
print(result)
print(result.text)#打印文本
运行结果：
这里考虑代码过长，贴个图片。
运行成功。
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
