【Python练习】如何使用Pandas获取“豆瓣电影”相关数据,并生成Excel表格

本文介绍如何利用Python的pandas库从豆瓣电影爬取数据,并将其存储到Excel表格中。过程中遇到的问题包括:初始Excel表格第一个sheet为空、爬取数据量大以及无法准确获取每个标签的电影数量。作者提出了初步的解决方案,但寻求进一步的优化建议。
摘要由CSDN通过智能技术生成

使用Python获取“豆瓣电影”相关数据,并生成Excel表格

本文使用了requestspandas第三方库,对豆瓣电影各相关数据进行爬取,并记录至Excel表格内。但发现存在以下三个问题:

  1. 生成的Excel表格,第一个sheet页为空
  2. 数据爬取数据过长
  3. 无法获取每个标签的具体电影数量,所以我取了一个吉祥的数字520,但请各位大佬指教,若为空,则直接停止,进入下一个标签的爬取

请各位大佬进行指教,并进行优化,小弟在此谢谢!
注:要是觉得文章写得不错,记得留个赞哦!
多余的sheet页
因为如果一开始不生成一个sheet页,则无法使用ExcelWriter的方法,小弟的解决方法是使用remove方法进行移除多余的sheet页,代码如下,请各位大佬指教!

# 移除创建表格时多余的sheet页
def del_excel(self):
	book = load_workbook(self.fileName)
	ws = book["Sheet1"]
	book.remove(ws)
	book.save(self.fileName)

爬取豆瓣电影相关数据的具体代码如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import requests as re
from openpyxl import load_workbook
import pandas as pd
import json


class DouBan:
    def __init__(self):

        self.sr1 = pd.DataFrame(columns=["评分", "电影名"], index=None)
        self.fileName = 'C:/Users/Administrator/Desktop/豆瓣电影评分.xlsx'
        # sheetName = '豆瓣电影评分'

        # 获取检索标签名
        self.tag_Movie = {
   
            0: "热门",
            1: "最新",
            2: "经典",
            3: "豆瓣高分",
            4: "冷门佳片",
            5: "华语",</
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Warolitbos

如果有帮助,请我喝咖啡!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值