urllib.error.HTTPError: HTTP Error 403: Forbidden（已解决）

urllib.request.urlopen 方式打开一个URL,服务器端只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器,操作系统,硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫.

有些网站为了防止这种非正常的访问,会验证请求信息中的UserAgent(它的信息包括硬件平台、系统软件、应用软件和用户个人偏好),如果UserAgent存在异常或者是不存在,那么这次请求将会被拒绝(如上错误信息所示)

加上浏览器伪装[方法见链接]就可以了。

headers = {'User-Agent':'Mozilla/5.0 3578.98 Safari/537.36'}
url = Request(url,headers=headers)
# 抓取数据e
content = urlopen(url,timeout=15).read()

• 参考

1. 小alpha
2. Python3||爬虫||伪装浏览器||requests VS. urllib区别

.
.
.
2019-01-17 13:20:56写于德州