python之爬取内涵段子

最新推荐文章于 2024-09-10 13:01:50 发布

qq_37109597

最新推荐文章于 2024-09-10 13:01:50 发布

阅读量36

点赞数

文章标签： python 开发语言

本文链接：https://blog.csdn.net/qq_37109597/article/details/132961838

版权

import urllib.request
import re
#获得网址
url="https://yuedu.mipang.com/hchj/neihan/page-3.html"
#浏览器表头
headers= {"User-Agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrom"
                         "e/17.0.963.56 Safari/535.11"}
#连接网址和浏览器表头
requset=urllib.request.Request(url,headers=headers)
#获得网址数据
res=urllib.request.urlopen(requset)
#读取网站数据
res1=res.read()
#数据转码
html=res1.decode("UTF-8")
#正则表达式匹配数据范围
pattern=re.compile('<div\sclass="daoyu">(.*?)</div>',re.S)
#获得匹配的数据列表
contentList=pattern.findall(html)
#打印获得数据
for content in contentList:
    print(content)

好文要顶关注我