Python的request库爬取豆瓣电影排行

用python爬取豆瓣电影排行，并将电影的相关信息存储到csv文件中

目录

案例1：直接解析

案例2：正则表达式

---

案例1：直接解析

        爬取豆瓣电影分类排行榜信息，我们发现网页源代码并不包含排行的电影信息，使用抓包工具获得url等相关信息，并编写代码

        编写代码如下，没有用到解析源码的过程：

# coding=utf-8
import requests
import csv
if __name__ == "__main__":
    post_url = 'https://movie.douban.com/j/chart/top_list'
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40'
    }
    param = {
        'type': '13',
        'interval_id': '100:90',
        'action':'',
        'start': 0,    #从第几部电影开始去取
        'limit': 250,       #一次取多少个
    }
    reps = requests.get(url=post_url,params=param,headers=headers)
    list_data = reps.json()
    #创建空字典存储爬取数据
    dic = {}
    #创建csv文件存储
    f = open("DouBanData.csv", mode='w', newline='')
    csvwriter = csv.writer(f)
    #for循环从列表中提取字典的键值
    for dicnum in list_data:
        dic['排名'] = dicnum['rank']
        dic['电影名'] = dicnum['title']
        dic['上映时间'] = dicnum['release_date']
        dic['评论数'] = dicnum['vote_count']
        dic['评分'] = dicnum['score']
        #print(dic)
        csvwriter.writerow(dic.values())
    f.close()

    print('----over!!------')

        得到的csv文件内容如下，爬取了爱情类型排行前250的电影

案例2：正则表达式

        爬取豆瓣电影Top250的数据，使用正则来解析网页

        爬取的时候注意区分预览数据和响应数据（拿到的数据），以及元素和源代码的区别，元素是源代码渲染的结果。

        爬取Top250电影的排名、网址、上映时间、评分和评论数的代码如下：

# 拿到页面源代码,通过re来提取想要的信息
import requests
import re
import csv

if __name__ == "__main__":
    header = {
        "User-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40"
    }
    url = "https://movie.douban.com/top250"
    #通过循环控制start参数信息，来获取不同页面的电影信息
    for num in range(0,256,25):
        data = {
            'start': num,
            'filter': '',
        }
        resp = requests.get(url=url,params=data,headers=header)
        page_content = resp.text

        #解析数据
        obj = re.compile(r'<li>.*?<div class="item">.*?<em class="">(?P<rank>.*?)</em>'
                         r'.*?<div class="info">.*?<div class="hd">.*?<a href="(?P<website>.*?)" class="">'
                         r'.*?<span class="title">(?P<name>.*?)</span>'
                         r'.*?<div class="bd">.*?<br>.*?(?P<year>.*?)&nbsp'
                         r'.*?</span>.*?<span class="rating_num" property="v:average">(?P<score>.*?)</span>'
                         r'.*?<span>(?P<num>.*?)</span>',re.S)
        result = obj.finditer(page_content)

        f = open("movieTop250_Data.csv",mode = 'a+',newline='')
        csvwriter = csv.writer(f)

        dic = {}
        for it in result:
            #字典存储数据，scv文件是以，分割，方便后面进行数据分析
            dic = it.groupdict()
            dic['year'] = dic['year'].strip()
            csvwriter.writerow(dic.values())

    f.close()
    print("---------over!!!----------")

        保存得到的csv文件内容如下：