python爬虫设置User-Agent解决HTTPError: HTTP Error 403: Forbidden

python读取网页常用以下两个方式：
from urllib.request import urlopen

import requests

urlopen使用read()方法，requests使用text属性即可。

解析使用
from bs4 import BeautifulSoup
soup=BeautifulSoup(content, ‘lxml’)

但是，当启动程序打开一个URL时，如果不设置userAgent，服务器获取不到request的浏览器类型、操作系统、硬件平台等信息，无法得知发送这个请求的是浏览器，往往判定这是非正常的访问，如spider程序，则可能会出现
HTTPError: HTTP Error 403: Forbidden

因此，F12打开开发者工具，选择Network，搜索User-Agent，找到对应的信息，复制下来，设置给header属性，这样就可以顺利访问了。

把这个字符串赋值给header即可。

最后，在请求访问时就可以获取正常的网页内容解析了。