【无标题】爬取豆瓣“热门电影”数据

爬取豆瓣“热门电影”数据：ID，电影名，评分

写入CSV文件

 

上代码：

import requests

import re

import csv

def getting(url):

    resp = requests.get(url,headers=header)

    resp.encoding = 'utf-8'

    #print(resp.status_code)

    #print(type(resp))

    return resp

 

def info_r(resp):

    obj_id = re.compile(r'rate":"(?P<sore>.*?)".*?title":"(?P<name>.*?)".*?id":"(?P<id>.*?)","cover_y',re.S)

    result = obj_id.findall(resp.text)

    return result     ##这是个列表

   

ef writing(list):

    for i in list:

        with open("movie_list.csv","a+") as f:

            writer = csv.writer(f)

            writer.writerow(i)

def main():

    result_0 =[]

    ###豆瓣热门电影主网页0-20-40

    for i in range(0,101,20):

        url = "https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=recommend&page_limit=20&page_start="   ##F12的network找到的XHR文件

        url = url + str(i)

        #url = f"https://movie.douban.com/explore#!type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=recommend&page_limit=20&page_start={i}" for i in range(0,101,20)

        resp = getting(url)

        print(type(resp.text))

        result = info_r(resp)

        for l in result:

            result_0.append(l)

    # print(result_0)

    # print("列表长度：" + str(len(result_0)))

    writing(result_0)

 

if __name__ =='__main__':

    header = {

        "User-Agent": "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36"

    }

    main()

计划把豆瓣电影的电影都爬一遍，怕把我的IP的直接拉黑，以后没得玩了。除了代理IP，慢慢爬数据可以吗？

我的CSV文件不知道为什么都隔了一行，我还得再调调。