Python 爬虫案例分析

敷衍zgf

已于 2022-10-01 21:13:03 修改

阅读量111

点赞数

分类专栏： Python爬虫文章标签： python 爬虫开发语言

于 2022-07-12 17:53:34 首次发布

本文链接：https://blog.csdn.net/qq_45556665/article/details/125710757

版权

Python爬虫专栏收录该内容

10 篇文章 3 订阅

订阅专栏

本文详细解析了使用Python进行网页爬取的一个实际案例，涉及翻页、URL构建、模拟浏览器请求、数据解析（包括标题链接抓取和图片地址获取）、二进制数据保存等步骤，重点展示了如何从B站论坛抓取图片并存储到本地。

摘要由CSDN通过智能技术生成

Python 爬虫案例分析

page_num = 0
# 循环翻页
for page in range(0,54150+1,50) :
    page_num += 1
    print("================正在爬取第{}页数据".format(page_num))
    # 1.确定url
    url = 'https://tieba.baidu.com/f?kw=%E7%BA%A6%E4%BC%9A&ie=utf-8&pn={}'.format(str(page))
    # 加上headers的目的是将代码伪装成浏览器用户，使得对方服务器无法轻易识别该爬虫程序
    headers = {
        # 以字典键值对形式
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'
        # 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
    }

    # 2.发送请求
    import requests # requests库的作用是帮助用户发送url请求
    # get方法，（所有静态页面的请求都是get方法  得到 获取） 通过关键字传参
    # 默认的模拟浏览器，帮助用户请求该浏览器地址的数据，返回response对象
    response = requests.get(url=url,headers=headers)
    # print(response)  # <Response [200]>  在python当中<>代表对象 200表示请求成功、300表示请求重定向、400表示请求地址错误、500表示服务器错误
    # text属性的作用是将response对象中的文本数据取出存放到html文件中
    html_data = response.text
    # print(html_data)
    # 至此证明用户已经请求到了想要的数据，但数据此时是html标签数据，并且属于字符串数据类型
    # 当中有很多数据是不需要的  因此需要第三步解析数据
    #  3.解析数据(数据筛选) 两层解析，第一次层是标题，点击后进入第二层
    import parsel # 导入数据解析模块
    # 获取到的html_data属于字符串数据，若需要与python完成交互必须要用正则表达式实现
    html = parsel.Selector(html_data) # 将数据转换成Selector对象

    # 转换完成后html对象具有一系列数据解析方法
    # getall()方法是从Selector响应对象中提取解析的数据
    title_url = html.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href').getall()
    # print(title_url)
    base_url = 'https://tieba.baidu.com'
    i = 1
    for url in title_url:
        all_url = base_url + url
        print('当前的帖子链接为:',all_url)
        # 再次发送请求，请求帖子内部的数据
        response_2 = requests.get(url = all_url ,headers=headers).text
        # 第二次解析
        response_2_data = parsel.Selector(response_2)
        result_list = response_2_data.xpath('//cc/div/img[@class="BDE_Image"]/@src').getall()
        print(result_list)
        # 通过图片地址获取图片的二进制数据
        for li in result_list:
            img_data = requests.get(url = li ,headers=headers).content # content属性获取图片的二进制数据
            # 4.保存数据(本地文件)
            # 文件名
            file_name = li.split('/')[-1] # 通过/将url地址分割成若干份，获取到链接的最后一串字符作为文件名

            with open('./file/img/' + '图片_'+ str(i) + '.jpg', mode='wb') as f :
                f.write(img_data)
                i += 1
                print('正在保存:',file_name)