TMDB电影数据分析（上）

🌟欢迎来到 我的博客 —— 探索技术的无限可能！

🌟博客的简介（文章目录）

TMDB电影数据分析（上）

      本文对源自Kaggle TMDB电影数据集进行分析影响电影票房的因素，数据分析流程包含数据集概分析、数据清洗、数据统计以及分析影响电影票房的因素。影响票房因素可能是电影预算、电影类型、电影时长、受欢迎程度、电影评分，发行时间等有关系，通过具体数据进行分析影响票房的因素。

数据集分析

      TDMB电影数据集包含大约 5000 部电影的相关数据。本次实验使用数据集中有关电影的数据表 tmdb_5000_movies.csv 进行数据分析。

      该数据集的下载地址是https://www.kaggle.com/datasets/tmdb/tmdb-movie-metadata。

      首先导入本次实验需要的使用的四个Python工具库，分别是numpy、pandas、matplotlib、seaborn。

      接下来导入数据集，调用Pandas的read_csv()函数读取.csv类型的文件，以数据文件名’tmdb_5000_movies.csv’作为参数。read_csv函数生成一个DataFrame，而后赋值给movies变量。调用DataFrame的info()方法查看数据集的详细信息，包含数据行数、列数、列索引、每列数据的数据类型，数据存储等。在数据文件中，每一行数据是一条记录，每一列称为一个字段。

      输出结果如下：

      由结果可以看出，该数据集总共有20个字段，总共包含4803条记录，记录索引为0至4802。另外，统计了各个字段上非空值的数目及各个字段的数据类型，比如tagline字段非空值数目为3959，总数据量为4803，说明该字段含有空值。使用isnull()方法判断是否缺失，sum()方法统计缺失的数目。结果如下图所示。

      下面针对数据集各字段进行解释：

数据字段展示表

字段名	字段解释	备注
budget	预算	以美元为单位存储
genres	类型	记录电影类型、风格
homepage	主页	记录电影链接
id	电影标识号
keywords	关键字	用于描述电影
original_language	原声语言
original_title	原标题
overview	概览	电影简介
popularity	受欢迎度
production_companies	制片公司
production_countries	国家
release_date	发行日期
revenue	电影收入
runtime	电影时长
spoken_languages	语言
status	电影状态
tagline	宣传语
title	标题
vote_average	评分
vote_count	评分次数

      下面调用DataFrame的describe()查看给定数据样本的基本统计信息，包含budget、id、popularity、revenue、runtime、vote_average、vote_count字段，对每个数值类型的字段统计个数、平均值、标准差、最小值、四分之一分位点（25%）、四分之二分位点（50%）、四分之三分位点（75%）以及最大值。

      上述结果表格中，budget、popularity、revenue、runtime、vote_average、vote_count列的最小值为0，对于budget、revenue、runtime中出现0是不符合常规的，认为这些是异常值，尤其revenue列25%处为0，说明revenue列中存在很多为0的值。

      查看budget字段为0的记录使用query()方法进行筛选数据，并使用head()方法查看前几行数据，默认是查看前5行数据，head(2)表示查看前2行数据。movies数据集一共有20个字段，下面的输出结果中只列出前面10个。在Jupyter Notebook页面上，拖动下端的水平滚动条可以看到后面10个字段的内容。

数据清洗

      经初步浏览数据集基本信息可以看出，数据集中存在缺失值现象，处理缺失值的常用方法有删除法、替换法、插入法。数据集中homepage、tagline字段中含有大量缺失值，考虑到这两个字段对不影响本次分析，可以直接删除这两个字段，同时删除其他与分析无关的字段。下面第一行代码调用DataFrame的drop()方法删除7个字段的数据，axis=1表示删除第二个维度上的数据，第二个维度代表列。参数inplace = True，表示直接将删除操作作用在数据集本身。第二行代码“movies.shape”查看数据集的行数和列数，返回一个元组，表示该数据集有4803条记录，每条记录有13个字段，也即行数是4803，列数是13。

      对于release_date、runtime这两个字段缺失值较少，可以使用指定数据进行手动填充缺失值，也可以直接删除含有缺失值的记录。

      删除含缺失值的记录（即一整行）的操作如下：

      数据集中可能存在某些记录重复，使用drop_duplicates()方法去掉重复记录，操作如下：

      keep参数为’first’，表示保留第一次出现的重复行，删除后面的重复行。

      另外，异常值存在对数据分析干扰很大，异常值过多，对分析结果产生不良影响，导致分析结果出现偏差甚至错误，统计各字段中异常值数目，操作如下：

      在数据量充足情况下，可以删除异常值所在记录，操作如下：

      上述代码调用movies.query()方法查找出budget、revenue字段中异常值所在记录并获取相应索引，使用drop()方法删除指定索引的记录后，数据集中样本数据还有3229条记录。再次查看数据集各字段基本统计信息，数据相对正常。

数据统计以及分析影响电影票房的因素

TMDB电影数据分析（下）