本文介绍了如何在Python中使用urllib和BeautifulSoup库处理SSL证书验证错误，以及如何从网页中抓取特定类别的数据（如div[class=col01-procf]下的p标签文本）。
# 1、获取源代码
import urllib.request
# 当报urllib.error.URLError: ＜urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed
#是证书认证错误
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
url='https://dicos.com.cn/product/index.html'
request=urllib.request.Request(url)
response=urllib.request.urlopen(request)
content=response.read().decode('utf-8')
#2、解析
from bs4 import BeautifulSoup
soup=BeautifulSoup(content,'lxml')
# //div[@class="col01-pro cf"]//p/text()——》转bs4
name_list=soup.select('div[class="col01-pro cf"] p')
for name in name_list:
print(name.get_text())
扫一扫
评论 1
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
