《长津湖》影评文本数据清洗--(简易版)

《长津湖》python文本数据清洗

1.项目背景

​ 《长津湖》作为近年比较火的电影，它用来致敬曾经伟大的战斗前辈。此次项目为用python 和Kettle 对爬取到的《长津湖》电影短评进行数据清洗与数据可视化分析，然后应用python连接数据库技术将清洗后的数据保存到excel 中，然后再导入到数据库保存，本项目将简单模拟数据清洗一系列流程。

2.研究路线

3.方案实施

3.1数据清洗(某个案例)

在python中编写数据清洗的代码，主要包括缺失值的删除，因为不知道缺失评价是怎么描述的，所以将缺失值进行删除处理。重复值、异常值进行删除，在代码中，我将删除短评字数不超过10个字的短评，其中，短评中出现空格也算一个字，清洗代码如下图所示：

import pandas as pd

# 数据加载
data = pd.read_csv("douban_comments.csv")
print("原始数据条数：%d"%len(data))
# 缺失值删除
data = data.dropna(axis=0,how="any")
print("缺失值删除后数据条数：%d"%len(data))
# 重复值删除,删除同一个人的评论，保留最近一次的
data = data.drop_duplicates(subset="name",keep="first")
print("重复值删除后数据条数：%d" %len(data))
# 删除异常值，评论过短的异常值
data["drop"] = data["comments"].map(lambda x: 1 if len(x)>10 else 0)
data = data[data["drop"] != 0]
print("删除异常后的数据条数：%d" %len(data))

data.loc[:,["name","date","rate","comments"]].to_excel("comments_cleaned.xlsx",index=False)

3.2数据可视化

这里，我就先不给出可视化代码了，大家可以突发奇想，做出自己满意的图片！！！

下面给出我做的可视化图片：

本文为课堂任务还没更新完毕，未完待续，下次继续！！！！