python爬虫设置User-Agent解决HTTPError: HTTP Error 403: Forbidden
python读取网页常用以下两个方式:from urllib.request import urlopenimport requestsurlopen使用read()方法,requests使用text属性即可。解析使用from bs4 import BeautifulSoupsoup=BeautifulSoup(content, ‘lxml’)但是,当启动程序打开一个URL时,如果不设置userAgent,服务器获取不到request的浏览器类型、操作系统、硬件平台等信息,无法得知发送这个
原创
2020-11-20 11:51:53 ·
1200 阅读 ·
1 评论