豆瓣电影爬虫Ⅱ 豆瓣电影数据的整理

二、豆瓣电影数据的整理

下一部分的爬取需要借助上一节爬取的数据，也就是电影的id号，根据id号来爬取具体的电影数据。 需要对爬取的数据进行处理，成为更有利于我们使用的数据。如下图所示：

这里把代码贴出来就不进行解释了。 数据和代码放到一个目录下（data下是我们上一节爬取的数据，get_index_id_name.py是整理程序）：

import os
import csv

def readAllFiles(filePath):
    id = []
    name = []
    fileList = os.listdir(filePath)
    for file in fileList:
        path = os.path.join(filePath, file)
        if os.path.isfile(path):
            with open(path, 'r') as f:
                reader = csv.reader(f)
                for i in reader:
                    if str(i[4]) != "NONE" and str(i[4]) != 'id':
                        id.append(i[4])
                        name.append(i[7])
    return name, id
#这里的路径是你当前目录下的路径，看下图解释
movie_name, movie_id = readAllFiles("data")

with open('index.csv', 'w', encoding='utf-8-sig', newline='') as f:
    f1 = csv.writer(f)
    for i in range(len(movie_name)):
        f1.writerow([movie_id[i], movie_name[i]])

谢谢大家的阅读！