爬取imdb资料库

最新推荐文章于 2025-01-11 12:04:10 发布

珂鸣玉

最新推荐文章于 2025-01-11 12:04:10 发布

阅读量2.4k

点赞数 1

分类专栏： python爬虫

本文链接：https://blog.csdn.net/weixin_44239541/article/details/102703071

版权

本文介绍如何使用Python编写一个简单的爬虫程序，从IMDb数据库中爬取电影信息，并将这些信息整理存储到Excel表格中。由于IMDb网站允许爬虫直接抓取数据，这个过程无需应对反扒策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

写一个简单的python爬虫程序，爬取imdb资料库，将爬取到的电影信息，存储到一个excel表格中

因为imdb资料库电影网没有反扒措施，直接爬取即可

代码如下：

import requests
from lxml import etree
import pandas as pd
import numpy as np

# 第一页：'http://www.imdb.cn/IMDB250/'
# 第一页：'http://www.imdb.cn/imdb250/2'
# 第三页：'http://www.imdb.cn/imdb250/3'

class IMDB:

    def __init__(self,move_name_list,move_score_list,move_bieming_list,move_ywm_list,move_dir_list,move_time_list):
        self.move_name_list = move_name_list
        self.move_score_list = move_score_list
        self.move_bieming_list = move_bieming_list
        self.move_ywm_list = move_ywm_list
        self.move_dir_list = move_dir_list
        self.move_time_list = move_time_list
        self.spider()

    def shuzu(self,content):
        '''
        将列表转化为二维数组
        :param content: 列表
        :return:  二维数组
        '''