python-关于爬虫爬取贴吧图片

最新推荐文章于 2024-05-02 21:47:38 发布

Ch_zhenhua

最新推荐文章于 2024-05-02 21:47:38 发布

阅读量564

点赞数

分类专栏： python webspider

本文链接：https://blog.csdn.net/Ch_zhenhua/article/details/82025925

版权

该博客介绍了一个Python爬虫程序，用于爬取百度贴吧的图片。程序通过构造URL和设置headers，使用requests库发送HTTP请求，然后利用lxml库的etree模块解析HTML，通过XPath提取列表和详情页面的图片链接。解析后的图片链接被下载并保存到本地的'images'文件夹中。爬虫还包括了处理翻页和下载图片的功能。

摘要由CSDN通过智能技术生成

#利用xpath解析列表数据

from lxml import etree
import requests
import os
# 需求：爬取百度贴吧图片,翻页，下载图片保存到本地
# 流程：
# 1、构建url和headers
# 2、发送请求、获取响应
# 3、解析列表数据，使用xpath，提取贴吧的列表页面的数据，返回detail_list,next_url
# //li[@class=" j_thread_list clearfix"]/div/div[2]/div[1]/div[1]/a
# //a[contains(text(),'下一页')]/@href # https:
# 4、解析详情数据，使用xpath，提取详情的图片数据,返回图片列表
# //*[contains(@id,"post_content")]/img/@src
# 5、下载图片，遍历图片列表，发送请求，获取响应，提取图片名称，

class Tieba(object):
    def __init__(self):
        self.url = 'https://tieba.baidu.com/f?ie=utf-8&kw=%E7%BE%8E%E5%A5%B3%E5%90%A7&fr=search'
        self.headers = {

# Mozilla/5.0获取不到百度贴吧内js内容,更换不支持js的4.0
# 'User-Agent': 'Mozilla/5.0 (Win