Pandas数据分析----缺失值统计与分析

最新推荐文章于 2024-06-21 12:33:31 发布
最新推荐文章于 2024-06-21 12:33:31 发布
阅读量2.3k 收藏 27
点赞数 2
分类专栏： 数据分析库pandas 文章标签： python 数据分析 Pandas 缺失值统计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AIHUBEI/article/details/120556955
版权

工具包导入

(9月29号(组内)–数据分析)

import pandas as pd
print(pd.__version__)

1.2.4

数据载入

data1 = pd.read_csv('./datasets1/location_object.csv')
print(data1.head(5))

             TIME  K1-1  K1-2  K1-3  K1-4  K1-5  K1-6  K2-1  K2-2  K2-3  ...  \
0  2020/7/19 0:00   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN  ...   
1  2020/7/19 1:00   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN  ...   
2  2020/7/19 2:00   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN  ...   
3  2020/7/19 3:00   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN  ...   
4  2020/7/19 4:00   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN  ...   

   K4-5  K4-6  K4-7  K4-8  K5-1  K5-2  K5-3  K5-4  K5-5  K5-6  
0   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN  
1   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN  
2   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN  
3   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN  
4   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN   NaN  

[5 rows x 39 columns]

数据概览

data1.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 624 entries, 0 to 623
Data columns (total 39 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   TIME    624 non-null    object 
 1   K1-1    81 non-null     float64
 2   K1-2    43 non-null     float64
 3   K1-3    74 non-null     float64
 4   K1-4    43 non-null     float64
 5   K1-5    66 non-null     float64
 6   K1-6    19 non-null     float64
 7   K2-1    31 non-null     float64
 8   K2-2    34 non-null     float64
 9   K2-3    130 non-null    float64
 10  K2-4    119 non-null    float64
 11  K2-5    77 non-null     float64
 12  K2-6    105 non-null    float64
 13  K2-7    59 non-null     float64
 14  K2-8    24 non-null     float64
 15  K3-1-1  49 non-null     float64
 16  K3-1-2  22 non-null     float64
 17  K3-2    91 non-null     float64
 18  K3-3    78 non-null     float64
 19  K3-4    85 non-null     float64
 20  K3-5    102 non-null    float64
 21  K3-6    79 non-null     float64
 22  K3-7    90 non-null     float64
 23  K3-8-1  15 non-null     float64
 24  K3-8-2  13 non-null     float64
 25  K4-1    47 non-null     float64
 26  K4-2    63 non-null     float64
 27  K4-3    128 non-null    float64
 28  K4-4    61 non-null     float64
 29  K4-5    58 non-null     float64
 30  K4-6    96 non-null     float64
 31  K4-7    28 non-null     float64
 32  K4-8    41 non-null     float64
 33  K5-1    54 non-null     float64
 34  K5-2    72 non-null     float64
 35  K5-3    65 non-null     float64
 36  K5-4    51 non-null     float64
 37  K5-5    68 non-null     float64
 38  K5-6    30 non-null     float64
dtypes: float64(38), object(1)
memory usage: 190.2+ KB

# 数据统计描述
data1.describe()
K1-1K1-2K1-3K1-4K1-5K1-6K2-1K2-2K2-3K2-4...K4-5K4-6K4-7K4-8K5-1K5-2K5-3K5-4K5-5K5-6
count81.043.074.043.066.019.031.034.0130.0119.0...58.096.028.041.054.072.065.051.068.030.0
mean1.01.01.01.01.01.01.01.01.01.0...1.01.01.01.01.01.01.01.01.01.0
std0.00.00.00.00.00.00.00.00.00.0...0.00.00.00.00.00.00.00.00.00.0
min1.01.01.01.01.01.01.01.01.01.0...1.01.01.01.01.01.01.01.01.01.0
25%1.01.01.01.01.01.01.01.01.01.0...1.01.01.01.01.01.01.01.01.01.0
50%1.01.01.01.01.01.01.01.01.01.0...1.01.01.01.01.01.01.01.01.01.0
75%1.01.01.01.01.01.01.01.01.01.0...1.01.01.01.01.01.01.01.01.01.0
max1.01.01.01.01.01.01.01.01.01.0...1.01.01.01.01.01.01.01.01.01.0

8 rows × 38 columns

缺失值统计

# 缺失值可视化
import missingno as msn
msn.matrix(data1)

<matplotlib.axes._subplots.AxesSubplot at 0x268bd314a08>

在这里插入图片描述

统计每一列的缺失值个数

# 非空值统计，求取每个列的非空值个数
print(data1.count())

TIME      624
K1-1       81
K1-2       43
K1-3       74
K1-4       43
K1-5       66
K1-6       19
K2-1       31
K2-2       34
K2-3      130
K2-4      119
K2-5       77
K2-6      105
K2-7       59
K2-8       24
K3-1-1     49
K3-1-2     22
K3-2       91
K3-3       78
K3-4       85
K3-5      102
K3-6       79
K3-7       90
K3-8-1     15
K3-8-2     13
K4-1       47
K4-2       63
K4-3      128
K4-4       61
K4-5       58
K4-6       96
K4-7       28
K4-8       41
K5-1       54
K5-2       72
K5-3       65
K5-4       51
K5-5       68
K5-6       30
dtype: int64

# 上述统计形式等价于
print(data1.count(axis=0))

TIME      624
K1-1       81
K1-2       43
K1-3       74
K1-4       43
K1-5       66
K1-6       19
K2-1       31
K2-2       34
K2-3      130
K2-4      119
K2-5       77
K2-6      105
K2-7       59
K2-8       24
K3-1-1     49
K3-1-2     22
K3-2       91
K3-3       78
K3-4       85
K3-5      102
K3-6       79
K3-7       90
K3-8-1     15
K3-8-2     13
K4-1       47
K4-2       63
K4-3      128
K4-4       61
K4-5       58
K4-6       96
K4-7       28
K4-8       41
K5-1       54
K5-2       72
K5-3       65
K5-4       51
K5-5       68
K5-6       30
dtype: int64

统计某一列的缺失值个数

print(data1[['K5-6']].count())

K5-6    30
dtype: int64

统计多个列的缺失值个数

print(data1[['K5-6', 'K5-5']].count())

K5-6    30
K5-5    68
dtype: int64

统计每一行的缺失值个数

# 求取每一行的缺失值个数
print(data1.count(axis=1))

0      1
1      1
2      2
3      2
4      1
      ..
619    1
620    1
621    1
622    1
623    1
Length: 624, dtype: int64

统计某一行的缺失值个数

print(data1.iloc[[0]].count())

1

统计多行的缺失值个数

print(data1.iloc[[0, 1]].count())

TIME      2
K1-1      0
K1-2      0
K1-3      0
K1-4      0
K1-5      0
K1-6      0
K2-1      0
K2-2      0
K2-3      0
K2-4      0
K2-5      0
K2-6      0
K2-7      0
K2-8      0
K3-1-1    0
K3-1-2    0
K3-2      0
K3-3      0
K3-4      0
K3-5      0
K3-6      0
K3-7      0
K3-8-1    0
K3-8-2    0
K4-1      0
K4-2      0
K4-3      0
K4-4      0
K4-5      0
K4-6      0
K4-7      0
K4-8      0
K5-1      0
K5-2      0
K5-3      0
K5-4      0
K5-5      0
K5-6      0
dtype: int64

对每一列进行求和

print(data1.sum())

TIME      2020/7/19 0:002020/7/19 1:002020/7/19 2:002020...
K1-1                                                   81.0
K1-2                                                   43.0
K1-3                                                   74.0
K1-4                                                   43.0
K1-5                                                   66.0
K1-6                                                   19.0
K2-1                                                   31.0
K2-2                                                   34.0
K2-3                                                  130.0
K2-4                                                  119.0
K2-5                                                   77.0
K2-6                                                  105.0
K2-7                                                   59.0
K2-8                                                   24.0
K3-1-1                                                 49.0
K3-1-2                                                 22.0
K3-2                                                   91.0
K3-3                                                   78.0
K3-4                                                   85.0
K3-5                                                  102.0
K3-6                                                   79.0
K3-7                                                   90.0
K3-8-1                                                 15.0
K3-8-2                                                 13.0
K4-1                                                   47.0
K4-2                                                   63.0
K4-3                                                  128.0
K4-4                                                   61.0
K4-5                                                   58.0
K4-6                                                   96.0
K4-7                                                   28.0
K4-8                                                   41.0
K5-1                                                   54.0
K5-2                                                   72.0
K5-3                                                   65.0
K5-4                                                   51.0
K5-5                                                   68.0
K5-6                                                   30.0
dtype: object

对每一行进行求和

print(data1.sum(axis=1))

0      0.0
1      0.0
2      1.0
3      1.0
4      0.0
      ... 
619    0.0
620    0.0
621    0.0
622    0.0
623    0.0
Length: 624, dtype: float64

对单独的一行或一列进行操作

# 对某一列进行求和
print(data1['K5-6'].sum())

30.0

# 对某一行进行求和
print(data1.iloc[[0]].sum())

TIME      2020/7/19 0:00
K1-1                 0.0
K1-2                 0.0
K1-3                 0.0
K1-4                 0.0
K1-5                 0.0
K1-6                 0.0
K2-1                 0.0
K2-2                 0.0
K2-3                 0.0
K2-4                 0.0
K2-5                 0.0
K2-6                 0.0
K2-7                 0.0
K2-8                 0.0
K3-1-1               0.0
K3-1-2               0.0
K3-2                 0.0
K3-3                 0.0
K3-4                 0.0
K3-5                 0.0
K3-6                 0.0
K3-7                 0.0
K3-8-1               0.0
K3-8-2               0.0
K4-1                 0.0
K4-2                 0.0
K4-3                 0.0
K4-4                 0.0
K4-5                 0.0
K4-6                 0.0
K4-7                 0.0
K4-8                 0.0
K5-1                 0.0
K5-2                 0.0
K5-3                 0.0
K5-4                 0.0
K5-5                 0.0
K5-6                 0.0
dtype: object

对多个行或多个列进行操作

# 对多个列求和
print(data1[['K5-6', 'K5-5']].sum())

K5-6    30.0
K5-5    68.0
dtype: float64

# 对多行进行求和
print(data1.iloc[[0, 1]].sum())

TIME      2020/7/19 0:002020/7/19 1:00
K1-1                               0.0
K1-2                               0.0
K1-3                               0.0
K1-4                               0.0
K1-5                               0.0
K1-6                               0.0
K2-1                               0.0
K2-2                               0.0
K2-3                               0.0
K2-4                               0.0
K2-5                               0.0
K2-6                               0.0
K2-7                               0.0
K2-8                               0.0
K3-1-1                             0.0
K3-1-2                             0.0
K3-2                               0.0
K3-3                               0.0
K3-4                               0.0
K3-5                               0.0
K3-6                               0.0
K3-7                               0.0
K3-8-1                             0.0
K3-8-2                             0.0
K4-1                               0.0
K4-2                               0.0
K4-3                               0.0
K4-4                               0.0
K4-5                               0.0
K4-6                               0.0
K4-7                               0.0
K4-8                               0.0
K5-1                               0.0
K5-2                               0.0
K5-3                               0.0
K5-4                               0.0
K5-5                               0.0
K5-6                               0.0
dtype: object

可视化分析

import matplotlib.pyplot as plt

plt.figure(figsize=(24, 7))
plt.rcParams['font.family'] = 'SimHei'

plt.bar(data1.columns, list(data1.count(axis=0)), width=1.5)
plt.title('非空值个数统计')

plt.show()

在这里插入图片描述

import plotly as py
import plotly.graph_objs as go
pyplt = py.offline.plot
# Trace
trace_basic = [go.Bar(
            x = data1.columns,
            y = list(data1.count(axis=0)),
    )]
# Layout
layout_basic = go.Layout(
            title = '非空值个数统计')
# Figure
figure_basic = go.Figure(data = trace_basic, layout = layout_basic)
# Plot
pyplt(figure_basic, filename='./1.html')

'./1.html'

在这里插入图片描述

AIHUBEI
关注
  • 2
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pandas——统计某一列或某一行的缺失值数目
littleboy__的博客
05-02 1万+
使用count data.count(axis=1)
pandas Dataframe统计缺失值占比
呆萌的代Ma
06-15 2294
工具函数： def collect_na_value(dataframe): return dataframe.isna().sum() / dataframe.shape[0] * 100 案例 import pandas as pd def collect_na_value(dataframe): return dataframe.isna().sum() / dataframe.shape[0] * 100 if __name__ == '__main__': df
[黑马程序员Pandas教程]——Pandas缺失值处理
qq_56444564的博客
11-08 1828
缺失值会影响分析计算的结果，这个结果又要用来指导生产经营，所以要重视缺失值空值仅指Pandas中的空值类型，比如`NaN`缺失值包含空值，也有可能是空字符串、数字0、False或None等不是空值的缺失值可以通过`replace`函数先替换为`NaN`空值，之后再按空值进行处理查看空值`df.info()` 可以查看数据集每一列非空值的数量`isnull` & `notnull`函数 判断是否存在空值`df.isnull().sum()` 统计空值数量。
pandas 查看缺失值
mmiikkuu的博客
07-08 300
【代码】pandas 查看缺失值。
pandas获取数据的缺失占比
高级数据分析师，分享Python知识
11-11 2943
获取数据的缺失占比 案例分析 在数据建模前，需要查看每一列数据的缺失情况，当缺失值的占比超过一定阈值，就需要考虑，这一列数据（或者这一个变量）是否需要参与建模。 一般选用的阈值在0.9，即：当某一个变量的缺失值占比达到90%以上，就需要删除。 这里选用pandas作为主要的数据分析工具，感兴趣的同学可以去pandas官网逛逛，下面开始介绍，如何用pandas查看每一个变量的缺失占比情况，以及绘制出变量缺失分布的柱状图。 一、导包 import pandas as pd import numpy as np
pandas 统计某一列或某一行的缺失值数目
WGS.
06-17 9106
统计某一列或某一行的缺失值数目 1.使用isnull() import pandas as pd # 首先导入数据 df = pd.read_csv('123.csv' , encoding='gbk') # 计算data每一行有多少个缺失值的值，即按行统计缺失值 rows_null = df.isnull().sum(axis=1) # 下面则是按列统计缺失值 col_null = df.isnull().sum(axis=0) #统计整个df的缺失值 all_null = df.isnull(
pandas 统计（行，列）缺失值的方法汇总
tao1669138300的博客
02-14 3294
数据 df=pd.DataFrame({'a':pd.Series([np.NaN, 2, pd.NaT, '', None, 'I stay']),'b':pd.Series([np.NaN, 2, 3, 4, None, 6])}) 统计列缺失值 df.isnull().sum() 效果如下 统计行缺失值 待续··· ...
pandas统计缺失值
爱听许嵩歌的博客
04-15 1166
# 查看每列是否有缺失值 data.isnull().any() Survived False Pclass False Sex False Age True SibSp False Parch False Fare False Embarked True dtype: bool # 统计列缺失值的数量 data.isnull().sum() Survived 0 Pclass 0
Python数据分析与建模库-03数据分析处理库Pandas-01-04合集
06-17
常用函数：该视频主要讲述了如何处理缺失值并计算平均值，以及如何利用pandas库统计不同等级船舱的平均价格，并通过pivot table分析船舱等级对获救几率的影响。 Python数据分析与建模库-03数据分析处理库Pandas-4....
数据分析+数据预处理+Pandas-DataFrame
07-11
Pandas-DataFrame常用基础知识点总结，代码示例，主要有对某列字符替换、groupby分组统计、聚合统计、根据某列进行排序、dataframe格式转字典、datafrane 多行合并为一行、新增与删除某列、删除某列字符大于8的行、...
Python数据分析必备-Pandas库汉化手册.docx
10-30
总的来说，Pandas库为Python数据分析师提供了一个全面的工具箱，无论是简单的数据探索还是复杂的统计分析，都可以借助Pandas高效地完成。通过深入理解并熟练运用Pandas的各种函数和方法，用户可以在数据分析领域更加...
Python数据分析与建模库-03数据分析处理库Pandas-3.常用函数
06-13
该视频主要讲述了如何处理缺失值并计算平均值，以及如何利用pandas库统计不同等级船舱的平均价格，并通过pivot table分析船舱等级对获救几率的影响。首先，视频介绍了当存在缺失值时，如何识别并替换这些值，以便...
Pandas统计分析基础与数据预处理.docx
10-23
"Pandas统计分析基础与数据预处理" 本资源为Python数据挖掘实验报告，内容涵盖数据分析与挖掘的实验过程、源码、截图和实验小结。报告共31页，实验内容包括创建随机数组、数据预处理、数据分析、数据可视化、数据...
pandas 统计各列缺失值的个数
Walker-C
05-15 5827
df.isna().sum()
pandas对数据中缺失值进行处理
Vaxue的博客
04-19 838
pandas对数据中缺失值进行处理 如图首先利用pd.isnull（age）函数找出age数组中年龄为空的数据，如果年龄的数据为空值，则函数返回结果为True，否则为False。并将返回的数组age_is_null中的True值当作索引来输出年龄不为空的数据。age[age_is_null == False]。如图：年龄为空的数据被过滤掉了。 ...
pandas 统计各列缺失、统计量、列属性
weixin_43899514的博客
08-20 381
统计各列的缺失 print('数据集的缺失情况\n',testrecords.isnull().sum())
【Python 实战基础】Pandas如何输出表格数据标题名称列表
菜鸟实战的博客
08-23 2131
Python 中 Pandas如何输出表格数据标题名称列表 文件读写 基础语法 Pandas read_csv
Pandas中汇总统计、处理缺失值、层次化索引超详细介绍！（附实例）
别看我只是一只羊
02-22 7727
阅读提示 本文将提到Pandas汇总统计和计算方法、处理缺失值操作、层次化索引等内容 目录阅读提示一、pandas汇总统计和计算1、sum()和cumsum()方法2、idxmax() 方法3、unique() 方法4、value_counts() 方法5、isin() 方法二、pandas处理缺失数据1、过滤缺失数据对于Series对于Dataframe2、对缺失值进行填充三、pandas层次化...
Ubuntu 18.04 安装 PCL 1.14.1
最新发布
u014374826的博客
06-21 522
Ubuntu 18.04 安装 PCL 1.14.1
python数据分析-pandas玩转excel
07-20
### 回答1： Python是一种功能强大的编程语言，可以用于各种数据分析任务。而在Python的数据分析工具库中，pandas是最受欢迎和广泛使用的工具之一。 Pandas提供了用于处理和分析数据的高级数据结构和函数。其最常用的数据结构是DataFrame，类似于Excel中的表格。通过Pandas，我们可以读取Excel文件，并将其转换为DataFrame对象进行进一步处理。 使用Pandas进行Excel数据分析的第一步是读取Excel文件。Pandas提供了read_excel函数，可以方便地读取Excel文件并转换为DataFrame对象。我们可以指定要读取的工作表、要保留的列、要跳过的行等。 一旦我们将Excel文件读取为DataFrame对象，我们可以使用Pandas提供的丰富函数和操作对数据进行各种处理和分析。例如，我们可以使用head()函数查看前几行数据，使用describe()函数获取数据的统计摘要，使用mean()函数计算平均值，使用groupby()函数对数据进行分组等等。 除了数据处理和分析，Pandas还提供了各种工具来处理缺失值和数据清洗。我们可以使用dropna()函数删除含有缺失值的行或列，使用fillna()函数将缺失值填充为指定的值，使用replace()函数替换数据中的特定值等。 在数据分析完成后，我们可以使用to_excel函数将DataFrame对象保存为Excel文件。在保存时，我们可以指定要保存的工作表、保存的位置和文件名等。 总之，Pandas是一个非常强大和灵活的库，可以使Python在处理Excel数据时变得更加简单和高效。无论是数据的读取、处理、分析还是保存，Pandas都提供了丰富而简洁的函数和操作，使得数据分析变得更加容易。 ### 回答2： Pandas是一个功能强大的数据分析工具，可以轻松地处理和分析各种数据。同时，Pandas还提供了许多用于读取、处理和写入Excel文件的功能，让我们能够更方便地从Excel文件中提取和处理数据。 在使用Pandas进行Excel数据分析时，我们首先需要使用`pandas.read_excel()`函数读取Excel文件，并将其存储为一个Pandas的DataFrame对象。这样可以轻松地使用Pandas的各种数据处理和分析功能。 Pandas提供了一系列的函数来处理Excel数据，比如对数据进行过滤、排序、计算统计量等。我们可以使用`head()`函数快速查看数据的前几行，使用`describe()`函数生成数据的统计概要信息，使用`sort_values()`函数对数据进行排序等。 除此之外，Pandas还提供了一些方便的函数来进行Excel数据的写入。我们可以使用`to_excel()`函数将DataFrame对象写入Excel文件，并通过参数来设置写入的Sheet名称、行列标签等。 除了基本的读写操作，Pandas还提供了丰富的数据转换和清洗功能，如数据合并、去重、填充空值等等。这些功能可以帮助我们更好地理解和分析Excel中的数据。 总而言之，Pandas是一个非常方便和强大的数据分析工具，可以让我们轻松地处理和分析Excel数据。通过Pandas，我们可以更加快速和高效地提取、清洗和分析数据，将Excel文件作为数据分析的重要来源之一。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值