基于pandas做可视化统计分析踩坑记录
标签:2021/09/26工作内容
参考资料:解决pandas中字段过多导致df.info()不显示详细字段信息的问题
侵删
目的
利用pandas对于给定的数据进行可视化统计分析、类别分析以及文本分析等。由于本人的主编程语言不是python,对于pandas包以及其他python特有的数据结构不太了解,所以在此详细记录过程中所踩过的坑,仅供学习和参考。
pandas处理csv中出现汉字
众所周知,pandas在读取csv中,如果表格中包含汉字,则会出现如下报错:
这是由于在存储汉字时,文件默认按ANSI编码,但是Python3缺默认用utf-8解析,所以有了以上报错。
解决办法有三种:
- 设置encoding=‘utf8-escape’
- 将csv文件用记事本打开,再另存为时将编码方式设置为utf-8
以上两种方法虽然能够解决代码报错的问题,但是查看导入的数据会发现所有的汉字都变成了乱码,如果只做一些简单的统计并不影响,但这里我们需要做文本分析,而且乱码会导致后续用字段索引困难,所以不建议采用上述两种方案。 - 将csv文件用记事本打开,再另存为时将编码方式设置为utf-8(with BOM)
这个类型既支持utf-8解码,又支持汉字的正常显示。
当列数过多时,info()函数不显示每列的详细情况
执行data.info()发现,只显示基本信息,不再显示每列的null值个数等详细信息。
这是由于pandas默认info显示大小为100个字段,当超过100时只显示基本信息,包括字段数量、数据类型的分布。
解决方案:
- 查看pandas中数据默认显示信息
通过以下命令可查看默认显示数量信息:
pd.get_option("max_info_columns")
结果为100
2. 改变默认显示数量来查看所有的字段信息
pd.options.display.max_info_columns = 200 # 设置info中信息显示数量为200
# 或者是
pd.set_option("display.max_info_columns", 200) # 设置info中信息显示数量为200
去null值的几种方式
由于我处理的这张表格大多数数据都不是数值型数据,而是分类型数据,所以不能用缺失值补0的方法对缺失值进行处理,在此整理了两种针对不同情况的处理缺失值的方法。
- 当统计某一字段的分布比例时(分类型数据多为饼状图),处理缺失值数据:
data_no_nan = data['故障部位1'].dropna(axis=0,how='any')
#drop all rows that have any NaN values
data_no_nan是故障部位1的非缺失值数据,类型为series
但是这种方法显然不适用于要对多个字段进行处理,计算联合概率or条件概率的情况。
- 当要统计的内容需要包含多个字段信息时,处理某列的缺失值数据(即故障部位1如果存在缺失值数据,则删除该行):
data_no_nan = data.loc[~data['故障部位1'].isnull()]
data_no_nan包含所有字段信息,其中故障部位1不为空