对top250进行requests爬取,制作柱状图，折线图等

我不是立达刘宁宇

已于 2024-06-11 14:23:02 修改

阅读量711

点赞数 8

文章标签： python

于 2024-06-04 00:28:24 首次发布

本文链接：https://blog.csdn.net/weixin_75280654/article/details/139427421

版权

本文使用Python的requests库爬取了网站Top250的数据，然后通过数据处理和可视化库，如matplotlib，制作了柱状图和折线图，展示了排名变化趋势和各项指标的分布情况。

摘要由CSDN通过智能技术生成

#需求：对top250进行requests爬取，并清洗数据后制作柱状图，折线图等
#定义函数。爬取top250的信息
#影片详情链接、图片链接、、影片概况和相关内容
from bs4 import BeautifulSoup
import requests
import re
import openpyxl
import time
def get_data():
    wb = openpyxl.Workbook()
    sheet = wb.active
    sheet.append(['中文标题', '英文标题', '发行时间', '电影评分', '评价人数','影片详细链接','图片链接','影片概况','导演名称'])
    wb.save('data.xlsx')
    for m in range(0,10):
        print(f'{m+1}页')
        nus=m*25
        URL=f"https://movie.douban.com/top250?start={nus}&filter="
        Headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; an-ES; rv:1.9.0.20) Gecko/9663-05-06 15:44:33 Firefox/3.8'}
        response = requests.get(url=URL, headers=Headers)
        if response.status_code!=200:
            print(f"爬取失败,状态码是{response.status_code}")
        else:
            response.encoding = 'utf-8'
            soup=BeautifulSoup(response.text,'html.parser')
            # 从文档树中提取信息
            label_numbers=soup.select('#content>div>div.article>ol>li')
            for label_number in range(1,len(label_numbers)+1):
                a1234=f'#content > div > div.article > ol > li:nth-child({label_number}) '
                #中文标题
                label1=soup.select(a1234+'> div > div.info > div.hd > a > span:nth-child(1)')
                #英文标题
                label2 = soup.select(a1234+ f'> div > div.info > div.hd > a > span:nth-child(2)')
                english_label=label2[0].text.replace("/", "").strip()
                #导演，主演，发行时间，发