Python 爬虫项目实战二：豆瓣图书信息采集与分析

最新推荐文章于 2024-11-13 17:24:18 发布

码上飞扬

最新推荐文章于 2024-11-13 17:24:18 发布

阅读量772

点赞数 16

文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/weixin_42132035/article/details/140908315

版权

一、项目背景

爬虫技术在数据采集和分析中有着广泛应用，本文将以实际案例为例，利用Python语言实现一个豆瓣图书信息采集与分析的爬虫项目。通过该项目，你将学习如何从豆瓣网站上获取图书信息，并进行基本的数据分析和可视化。

二、环境准备

在开始之前，请确保你已经安装了Python解释器和以下必要的第三方库：

requests：用于发送HTTP请求和获取响应。
BeautifulSoup4：用于解析HTML和XML文档。
pandas：用于数据处理和分析。
matplotlib：用于数据可视化。

你可以使用pip安装这些库：

bash

pip install requests beautifulsoup4 pandas matplotlib

三、实现步骤

1. 发送请求获取页面内容

首先，我们需要发送HTTP请求获取豆瓣图书页面的HTML内容。

python

import requests

def fetch_douban_books():
    url = 'https://book.douban.com/top250'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        print("Failed to fetch page:", response.status_code)
        return None

2. 解析页面内容

使用BeautifulSoup解析HTML页面，定位图书信息所在的标签。

python

from bs4 import BeautifulSoup

def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    book_list = soup.find_all('tr', class_='item')
    
    books = []
    for book in book_list:
        title = book.find('div', class_='pl2').a['title']
        rating = book.find('span', class_='rating_nums').text.strip()
        comment_count = book.find('span', class_='pl').text.strip().strip('()')
        books.append({
            'title': title,
            'rating': rating,
            'comment_count': comment_count
        })
        
    return books

3. 数据处理与分析

将获取的图书信息存储到DataFrame中，并进行数据分析与可视化。

python

import pandas as pd
import matplotlib.pyplot as plt

def analyze_books(books):
    df = pd.DataFrame(books)
    df['rating'] = df['rating'].astype(float)
    df['comment_count'] = df['comment_count'].astype(int)
    
    # 数据统计
    print("平均评分:", df['rating'].mean())
    print("评论数最多的图书:", df.loc[df['comment_count'].idxmax()]['title'])
    
    # 可视化
    plt.figure(figsize=(10, 6))
    df.sort_values(by='rating', ascending=False, inplace=True)
    plt.barh(df['title'][:10], df['rating'][:10], color='skyblue')
    plt.xlabel('Rating')
    plt.title('Top 10 Highest Rated Books on Douban')
    plt.gca().invert_yaxis()
    plt.show()

# 主函数
if __name__ == '__main__':
    html = fetch_douban_books()
    if html:
        books = parse_html(html)
        analyze_books(books)