参考:Python 爬虫:http.client.RemoteDisconnected: Remote end closed connection without response 问题解决
使用python爬虫中的urllib 或者 requests 库获取数据时
出现报错:
http.client.RemoteDisconnected: Remote end closed connection without response
原因:
大多数网站都会对用户请求中的 User-Agent 进行检测,如果没有在请求头中设置 User-Agent,那么就会抛出异常
改进方法:在headers中添加:User-Agent
import urllib.request
# 要访问的地址
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; W