UA防爬
User Agent中文名为用户代理,是Http协议中的一部分,属于头域的组成部分
是一个特殊字符串头,是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识
通过这个标 识,用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计
获取UA
打开控制台,刷新页面
url = 'https://www.baidu.com'
headers = {
"User-Agent": "..."
}
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
print(response.read().decode('utf8'))