爬虫项目实战：利用爬虫模板爬取豆瓣图书Top250

cxlhyx

已于 2023-11-21 17:31:04 修改

阅读量3.6k

点赞数 36

文章标签：爬虫 python 经验分享网络爬虫模板方法模式 selenium

于 2023-11-12 22:49:40 首次发布

本文链接：https://blog.csdn.net/muaamua/article/details/134365944

版权

本文介绍了一种利用爬虫模板实战的方法，详细描述了如何爬取豆瓣图书Top250的数据，包括解析网页、提取书名、作者、评分和简介，以及将数据存储到本地的过程。使用了BeautifulSoup解析HTML，展示了处理动态刷新、登录和验证码的技巧。

摘要由CSDN通过智能技术生成

👋 Hi, I’m @货又星
👀 I’m interested in …
🌱 I’m currently learning …
💞️ I’m looking to collaborate on …
📫 How to reach me …

概要

利用爬虫模板进行项目实战
昨天博主发了一篇爬虫：解决动态刷新、基于selenium框架的爬虫、解决登录以及验证码问题（含爬虫模板），介绍了爬虫如何解决动态刷新、基于selenium框架的爬虫、如何解决登录以及验证吗问题，以及分享了爬虫的源码：爬虫模板、基于selenium框架的爬虫模板（包含登录与验证码问题）、爬虫项目实战：爬虫模板爬取单位净值 (动态更新网址)。

今天我们再利用爬虫模板来进行简单的入门项目：爬取豆瓣图书Top250。

整体架构流程

整体架构流程基于爬虫模板
由于豆瓣图书没有使用太强的反爬机制，html源码利用F12打开开发人员工具看得到也爬得到，所以这里我们直接使用简单的爬虫模板就可以了。当然读者也可以尝试使用基于selenium的爬虫模板自己动手尝试，模板请在概要或者源码的链接里自取。

技术细节

需要做的修改：

Step 2: 解析网页并提取目标数据
Step 3: 存储数据到本地或其他持久化存储服务器中
Step 4: 控制流程，调用上述函数完成数据抓取任务

Step 2: 解析网页并提取目标数据

这一步是对爬取到的html源码进行解析，需要我们对html语言有一定的了解，可以简单了解一下HTML 教程- (HTML5 标准)，同时还需要对BeautifulSoup有了解，可以参考python爬虫之Beautifulsoup模块用法详解。
这里我们主要爬取图书的书名、作者、评分、简介。我们打开一个网页豆瓣读书 Top 250，F12打开开发人员工具，查看对应的html源码。在这里插入图片描述
可以看到：
1.书名：在class为pl2的div标签的a标签里面，由于a标签没有容易找的属性，所以我们查找div标签。

data_list = []
data_list.append([i.find('a')['title'] for i in soup.find_all(name='div', attrs={'class': 'pl2'})])  # 书名 # 书名

2.作者：在class为pl的p标签里面，可以直接找。

data_list.append([i.text for i in soup.find_all(name='p',attrs={'class':'pl'})])  # 作者

3.评分：虽然也是在一个div标签里，但是它主要是在class为rating_nums的span标签里面，也是可以直接找的。

data_list.append([i.text for i in soup.find_all(name='span',attrs={'class':'rating_nums'})])  # 评分

4.简介：一样是在一个p标签里面，但它所在的span标签有class为inq，可以直接查找。不过比起其它三个，某些书没有这一项，所以有可能会对应不上，于是对于没有的，我们把它设为空。因此，我们也没办法直接查找span标签了，所以我们通过它的祖先标签tr，class值为item间接搜索它，找到的直接添加在数据列表，没有就加空字符串。

list=[]  # 简介
for i in soup.find_all(name='tr',attrs={'class':'item'}):
     if(i.find(name='span', attrs={'class': 'inq'})):  # 简介存在
         list.append(i.find(name='span',attrs={'class':'inq'}).text)
     else:  # 简介可能不存在
         list.append(' ')
data_list.append(list)

Step 3: 存储数据到本地或其他持久化存储服务器中

在step2中，我们将爬取到250本书的书名、作者、评分、简介分别存在一个列表当中，一共4个列表，再把它们放在一个大列表中。这一步要做的是就是把他们存储在txt或者其它文件当中，还是比较简单的，主要就是文件的读取而已。

with open('豆瓣图书Top250.txt','a', encoding='utf-8') as file:
	for i in range(25):
        file.write("书名：" + result_list[0][i] + '\n')
        file.write("作者：" + result_list[1][i] + '\n')
        file.write("评分：" + result_list[2][i] + '\n')
        file.write("简介：" + result_list[3][i] + '\n')
        file.write('=' * 50 + '\n')

Step 4: 控制流程，调用上述函数完成数据抓取任务

这一步只需稍微修改，原因是豆瓣的每一页只有25本书，而我们要爬取的是Top250的。那么如何解决呢，观察榜单的链接可以发现榜单的每一页的链接都只是在 https://book.douban.com/top250?start= 的后面加上0、25…而已，所以简单遍历一下就可以了。

spider = MySpider()
url = "https://book.douban.com/top250?start="
for page in range(0,250,25):
    target_url=url+str(page)
    html_content = spider.get_html_content(target_url)
    if html_content:
        result_list = spider.parse_html(html_content)
        spider.store_data(result_list)
    else:
        print("网页访问失败")

结果

部分结果如图
在这里插入图片描述

源码

爬虫模板请看爬虫：解决动态刷新、基于selenium框架的爬虫、解决登录以及验证码问题（含爬虫模板）

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
from tqdm import trange


class MySpider():
    def __init__(self):
        pass

    # Step 1: 访问网页并获取响应内容
    def get_html_content(self, url):
        headers = {
            'User-Agent': UserAgent().random
        }  # 请求头，爬虫程序通过加上请求头伪装成浏览器
        data = {'name': 'huoyouxing'}
        try:
            response = requests.get(url, data=data, headers=headers)
            response.raise_for_status()  # 判断返回的Response类型状态是不是200
            response.encoding = response.apparent_encoding  # 从内容中分析出的响应内容编码
            html_content = response.text  # 网页内容
            return html_content  # 返回网页内容
        except Exception as e:
            print(f"网络请求异常：{e}")
            return None

    # Step 2: 解析网页并提取目标数据
    def parse_html(self, html_content):
        soup = BeautifulSoup(html_content, 'html.parser')  # 解析 html 数据
        # TODO：根据需求编写解析代码，并将结果保存到合适的数据结构中
        data_list = []
        data_list.append(
            [i.find('a')['title'] for i in soup.find_all(name='div', attrs={'class': 'pl2'})])  # 书名
        data_list.append([i.text for i in soup.find_all(name='p', attrs={'class': 'pl'})])  # 作者
        data_list.append([i.text for i in soup.find_all(name='span', attrs={'class': 'rating_nums'})])  # 评分
        list = []  # 简介
        for i in soup.find_all(name='tr', attrs={'class': 'item'}):
            if i.find(name='span', attrs={'class': 'inq'}):  # 简介存在
                list.append(i.find(name='span', attrs={'class': 'inq'}).text)
            else:  # 简介可能不存在
                list.append(' ')
        data_list.append(list)
        return data_list

    # Step 3: 存储数据到本地或其他持久化存储服务器中
    def store_data(self, result_list):
        # TODO：编写存储代码，将数据结果保存到本地或其他服务器中
        with open('豆瓣图书Top250.txt', 'a', encoding='utf-8') as file:
            for i in range(25):
                file.write("书名：" + result_list[0][i] + '\n')
                file.write("作者：" + result_list[1][i] + '\n')
                file.write("评分：" + result_list[2][i] + '\n')
                file.write("简介：" + result_list[3][i] + '\n')
                file.write('=' * 50 + '\n')


# Step 4: 控制流程，调用上述函数完成数据抓取任务
if __name__ == '__main__':
    spider = MySpider()
    url = "https://book.douban.com/top250?start="
    for page in trange(0, 250, 25):
        target_url = url + str(page)
        html_content = spider.get_html_content(target_url)
        if html_content:
            result_list = spider.parse_html(html_content)
            spider.store_data(result_list)
        else:
            print("网页访问失败")