ZOL笑话大全网爬取笑话标题和笑话内容文字。
二话不说,码来!
完整代码如下:
import requests
from lxml import etree
import time
import json
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'
}
domain = 'https://xiaohua.zol.com.cn/'
def parse_page(page_url): # 获取列表页中所有的详情页
resp = requests.get(page_url, headers=headers) # 爬取
text = resp.text # 爬取的内容转为文本
# print(text)
parser = etree.HTML(text) # 解析文本
detail_url_list = parser.xpath('//ul[@class="article-list"]/li[@class="article-summary"]//a[@class="all-read"]/@href') # 分析网页url存在位置 xpath语法获取想要的标签内容
# print(detail_url_list)
for detail_url in detail_url_list: # 循环遍历将获取到的内容与域名拼接
detail_url = domain + detail_url
# print(detail_url)
parse_detail(detail_url) # 传递参数给parse_detail函数
# break # 测试阶段
time.sleep(3) # 添加间隔 保护自己 保护别人
joke_list = [] # 添加全局变量joke_list列表存储爬取的title和content
def parse_detail(detail_url): # 解析详情页
resp = requests.get(detail_url, headers=headers)
text = resp.text
parser = etree.HTML(text)
joke_title = parser.xpath('//h1[@class="article-title"]/text()')[0] # 分析网站标签存在位置 返回为列表需要取0 标签一般为一条所以一个/表示子标签
joke_content = "".join(parser.xpath('//div[@class="article-text"]//text()')) # 分析文本所在位置 多条文本使用//获取所有 返回为列表使用join将列表中字符串拼接
# print(joke_content)
joke_list.append({
'titile': joke_title,
'content': joke_content
}) # 将标签和内容添加到一起
print(f"{joke_title}笑话下载完毕!")
def main():
for page in range(1,5):
page_url = f'https://xiaohua.zol.com.cn/new/{page}.html' # f+字符串:用大括号 {} 表示被替换字段,其中直接填入替换内容
parse_page(page_url)
# break # 测试时候先爬取一页防止爬虫被拦截
time.sleep(2) # 添加间隔 保护自己 保护别人
with open('joke.json', 'w', encoding='utf-8') as fp:
# ensure_ascii:没有设置为False保存的json文件中的中文存储成Unicode字符串
json.dump(joke_list, fp, ensure_ascii=False) # 使用dump()函数存储joke_list 和fp指针存储
print("="*30)
print("笑话数据抓取完毕!")
if __name__ == '__main__':
main()