爬虫学习笔记-xpth实战项目

ZOL笑话大全网爬取笑话标题和笑话内容文字。

二话不说，码来！

完整代码如下：

import requests
from lxml import etree
import time
import json


headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'
}
domain = 'https://xiaohua.zol.com.cn/'


def parse_page(page_url):  # 获取列表页中所有的详情页
    resp = requests.get(page_url, headers=headers)  # 爬取
    text = resp.text  # 爬取的内容转为文本
    # print(text)
    parser = etree.HTML(text)  # 解析文本
    detail_url_list = parser.xpath('//ul[@class="article-list"]/li[@class="article-summary"]//a[@class="all-read"]/@href')  # 分析网页url存在位置 xpath语法获取想要的标签内容
    # print(detail_url_list)
    for detail_url in detail_url_list:  # 循环遍历将获取到的内容与域名拼接
        detail_url = domain + detail_url
        # print(detail_url)
        parse_detail(detail_url)  # 传递参数给parse_detail函数
        # break  # 测试阶段
        time.sleep(3)  # 添加间隔 保护自己 保护别人


joke_list = []  # 添加全局变量joke_list列表存储爬取的title和content

def parse_detail(detail_url):  # 解析详情页
    resp = requests.get(detail_url, headers=headers)
    text = resp.text
    parser = etree.HTML(text)
    joke_title = parser.xpath('//h1[@class="article-title"]/text()')[0]  # 分析网站标签存在位置 返回为列表需要取0 标签一般为一条所以一个/表示子标签
    joke_content = "".join(parser.xpath('//div[@class="article-text"]//text()')) # 分析文本所在位置 多条文本使用//获取所有 返回为列表使用join将列表中字符串拼接
    # print(joke_content)
    joke_list.append({
        'titile': joke_title,
        'content': joke_content
    })  # 将标签和内容添加到一起
    print(f"{joke_title}笑话下载完毕！")


def main():
    for page in range(1,5):
        page_url = f'https://xiaohua.zol.com.cn/new/{page}.html'  # f+字符串：用大括号 {} 表示被替换字段，其中直接填入替换内容
        parse_page(page_url)
        # break  # 测试时候先爬取一页防止爬虫被拦截
        time.sleep(2)  # 添加间隔 保护自己 保护别人

    with open('joke.json', 'w', encoding='utf-8') as fp:
        # ensure_ascii:没有设置为False保存的json文件中的中文存储成Unicode字符串
        json.dump(joke_list, fp, ensure_ascii=False)  # 使用dump()函数存储joke_list 和fp指针存储

    print("="*30)
    print("笑话数据抓取完毕！")


if __name__ == '__main__':
    main()