基于pandas做可视化统计分析踩坑记录

基于pandas做可视化统计分析踩坑记录

标签：2021/09/26工作内容
参考资料：解决pandas中字段过多导致df.info()不显示详细字段信息的问题
侵删

目的

利用pandas对于给定的数据进行可视化统计分析、类别分析以及文本分析等。由于本人的主编程语言不是python，对于pandas包以及其他python特有的数据结构不太了解，所以在此详细记录过程中所踩过的坑，仅供学习和参考。

pandas处理csv中出现汉字

众所周知，pandas在读取csv中，如果表格中包含汉字，则会出现如下报错：
这是由于在存储汉字时，文件默认按ANSI编码，但是Python3缺默认用utf-8解析，所以有了以上报错。
解决办法有三种：

1. 设置encoding=‘utf8-escape’
2. 将csv文件用记事本打开，再另存为时将编码方式设置为utf-8
   以上两种方法虽然能够解决代码报错的问题，但是查看导入的数据会发现所有的汉字都变成了乱码，如果只做一些简单的统计并不影响，但这里我们需要做文本分析，而且乱码会导致后续用字段索引困难，所以不建议采用上述两种方案。
3. 将csv文件用记事本打开，再另存为时将编码方式设置为utf-8(with BOM)
   这个类型既支持utf-8解码，又支持汉字的正常显示。

当列数过多时，info()函数不显示每列的详细情况

执行data.info()发现，只显示基本信息，不再显示每列的null值个数等详细信息。
这是由于pandas默认info显示大小为100个字段，当超过100时只显示基本信息，包括字段数量、数据类型的分布。

解决方案：

1. 查看pandas中数据默认显示信息
   通过以下命令可查看默认显示数量信息：

pd.get_option("max_info_columns")

结果为100
2. 改变默认显示数量来查看所有的字段信息

pd.options.display.max_info_columns = 200  # 设置info中信息显示数量为200

# 或者是

pd.set_option("display.max_info_columns", 200)   # 设置info中信息显示数量为200

去null值的几种方式

由于我处理的这张表格大多数数据都不是数值型数据，而是分类型数据，所以不能用缺失值补0的方法对缺失值进行处理，在此整理了两种针对不同情况的处理缺失值的方法。

1. 当统计某一字段的分布比例时（分类型数据多为饼状图），处理缺失值数据：

data_no_nan = data['故障部位1'].dropna(axis=0,how='any')
#drop all rows that have any NaN values

data_no_nan是故障部位1的非缺失值数据，类型为series
但是这种方法显然不适用于要对多个字段进行处理，计算联合概率or条件概率的情况。

2. 当要统计的内容需要包含多个字段信息时，处理某列的缺失值数据（即故障部位1如果存在缺失值数据，则删除该行）：

data_no_nan = data.loc[~data['故障部位1'].isnull()]

data_no_nan包含所有字段信息，其中故障部位1不为空