python爬虫——User-Agent

那么User-Agent到底是什么呢？
User-Agent是请求头的一部分。会告诉网站服务器，访问者是通过什么工具来请求的，如果是爬虫请求，一般会拒绝，如果是用户浏览器，就会应答。

一、默认User-Agent

1.代码

import requests


r = requests.get('https://movie.douban.com/')

print(r.text)

2.结果

3.查看默认请求头

import requests


r = requests.get('https://movie.douban.com/')

print(r.request.headers)

 二、设置User-Agent

1.参考

 2.代码

User-Agent数据复制浏览器里的

import requests

head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0 WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
r = requests.get('https://movie.douban.com/', headers=head)

print(r.text)

可以获取数据了