python3 使用urllib报错urlopen error EOF occurred in violation of protocol (_ssl.c:841)

最新推荐文章于 2024-08-22 19:00:22 发布

weixin_30477797

最新推荐文章于 2024-08-22 19:00:22 发布

阅读量1.6k

点赞数

文章标签： python 爬虫 php

原文链接：http://www.cnblogs.com/czx1/p/11442442.html

版权

在尝试使用Python3的urllib库抓取http://php.net/页面时遇到错误：urlopen error EOF occurred in violation of protocol (_ssl.c:841)。该问题是由于服务器禁用了SSLv2，而Python尝试使用此协议。为解决此问题，需要自定义HTTPAdapter，指定使用TLSv1或其他SSL版本。通过创建子类并挂载到Session对象，可以正常进行网页抓取。

摘要由CSDN通过智能技术生成

python3源码：

import urllib.request
from bs4 import BeautifulSoup

response = urllib.request.urlopen("http://php.net/")
html = response.read()
soup=BeautifulSoup(html, "html5lib")
text=soup.get_text(strip=True)
print(text)

　　代码很简单，就是抓取http://php.net/页面文本内容，然后使用BeautifulSoup模块清除过滤掉多余的html标签。貌似第一次允许成功了，之后一直卡着再报错：

  File "C:\Python36\lib\urllib\request.py", line 504, in _call_chain
    result = func(*args)
  File "C:\Python36\lib\urllib\request.py", line 1361, in https_open
    context=self._context, check_hostname=self._check_hostname)
  File "C:\Python36\lib\urllib\request.py", line 1320, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error EOF occurred in violation of protocol (_ssl.c:841)>

　　实际上google浏览器是能够访问的。

　　此问题可能是由于Web服务器上禁用了SSLv2，而比较老的python库Python 2.x尝试默认情况下与PROTOCOL_SSLv23建立连接。因此在这种情况下，需要选择请求使用的SSL版本。

　　要更改HTTPS中使用的SSL版本，需要将该HTTPAdapter类子类化并将其挂载到 Session对象。例如，如果想强制使用TLSv1，则新的传输适配器将如下所示：