反爬虫之User_Agent反爬

虽然比较初级，但非常常见的反爬手段，还是记录一下。
示例网站：“https://www.baidu.com”
所需工具：Postman、Chrome浏览器

如何判断网站是否设置了User_Agent反爬虫措施？

1、Chrome浏览器打开网站，观察源代码（Ctrl+U）。
2、Postman打开目标网站，观察源代码。如图：

3、python编写代码（不带User_Agent的代码）

import urllib.request


response = urllib.request.urlopen("https://www.baidu.com")
print(response