数据清洗——Pandas统计缺失值数量、查看数据信息、数据总体概述

最新推荐文章于 2024-08-04 21:59:25 发布
最新推荐文章于 2024-08-04 21:59:25 发布
阅读量1.7w 收藏 39
点赞数 9
分类专栏： 数据分析挖掘——工具使用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36226326/article/details/104332870
版权

进行数据挖掘的时候，在读取数据后，通常要对所分析建模的数据有一个总体了解。因此需要对数据进行缺失值统计、查看数据分布、查看数据表中每一列的信息等等。

这些在pandas中都有现成的工具，直接调用函数，即可对我们的数据进行一个大致的了解。

这里我们使用titanic生存者数据，进行演示，数据如下：

 

 

  • 查看数据信息——titanic.info()

titanic.info()

 

  • int、float类型数据总体概述——titanic.describe（）

 

  • 缺失值统计——titan
最低0.47元/天 解锁文章
春风吹23
关注
专栏目录
python 计算缺失值个数以及缺失率
with_still_water的博客
10-13 1万+
import os import pandas as pd os.chdir(r"D:\pycharm程序文件\练习1") data = pd.read_excel("data.xlsx") # 计算表格行列数 print(data.shape) print(data.shape[0]) # 计算行的个数 # 查看某 一/多 列的缺失值isnull() print(data['被保险人年龄...
AAAKK
f123456789456789的博客
05-13 249
h = df.drop_duplitcates(subset='某列',keep='first') #删除某列中有重复值的行（只保留第一次出现的行）df1 = df.dropna(axis=1,how='any') #删除含有缺失值的列（axis=0是行）print(f'被删除的列数： {e}') #删除含有缺失值的列，并打印删除列数或行数。print('某表'.fillna(0)) #使用0填补缺失值空值。a = df.isnull().sum() #a=每列缺失值个数。
【Pandas】pandas.isna详解与实战应用：快速检查缺失值的利器，用于检测数据中的缺失值
最新发布
科技改变人类，技术成就未来
08-04 1053
在数据分析和处理过程中，缺失值是一大挑战。处理缺失值的第一步通常是识别它们。pandas.isna 是 Pandas 提供的一个函数，用于检测数据中的缺失值。本文将详细介绍 pandas.isna 的用途和用法，包括其参数详解、示例代码以及进阶使用技巧。
pandas——统计某一列或某一行的缺失值数目
littleboy__的博客
05-02 1万+
使用count data.count(axis=1)
pandas 统计某一列或某一行的缺失值数目
WGS.
06-17 9252
统计某一列或某一行的缺失值数目 1.使用isnull() import pandas as pd # 首先导入数据 df = pd.read_csv('123.csv' , encoding='gbk') # 计算data每一行有多少个缺失值的值，即按行统计缺失值 rows_null = df.isnull().sum(axis=1) # 下面则是按列统计缺失值 col_null = df.isnull().sum(axis=0) #统计整个df的缺失值 all_null = df.isnull(
pandas统计缺失值的个数
weixin_40340586的博客
12-11 4492
pandas 统计缺失值个数，可以使用 df['whole_post_clean'].isnull().sum()
pandas 统计各列缺失值的个数
Walker-C
05-15 5961
df.isna().sum()
数据分析-展示缺失值情况并提取信息
浮汐潇潇
09-15 788
一、展示缺失值详情 #查看缺失值情况 def missing_values(alldata): alldata_na = pd.DataFrame(alldata.isnull().sum(), columns={'missingNum'}) alldata_na['missingRatio'] = alldata_na['missingNum']/len(alldata)*100...
2021-11-07大数据学习日志——Pandas——Pandas数据清洗
tingbaobaoo的博客
11-07 743
01_缺失值处理 学习目标 知道什么是缺失值，为什么会产生缺失值 熟练掌握缺失值处理的方式 1.1 pandas 缺失值 NaN 简介 在实际进行数据处理的过程中，很多数据集都含缺失数据。 缺失数据有多重表现形式： 1）数据库中，缺失数据表示为NULL 2）在某些编程语言中用NA或None表示 3）缺失值也可能是空字符串''或数值0 4）在 pandas 中使用NaN表示缺失值 pandas 中的 NaN 值来自 NumPy 库 NumPy 中缺失值有几种表示形式：N...
python——pandas总结1
07-18
- **灵活处理缺失数据**：Pandas 提供了多种方法来处理数据集中的缺失值。 - **关系型运算**：支持常见的数据库操作，如合并（merge）、连接（join）等，类似于 SQL 查询。 #### 三、Pandas 数据结构介绍 Pandas ...
数据预处理：统计关联性分析/数据清洗/数据增强/特征工程实例
AI相关从业分享
07-04 121
数据预处理是机器学习领域中的一个重要步骤，它包括对原始数据进行清洗、转换和处理，以便更好地适应机器学习模型的训练和应用。数据预处理的主要目的是提高数据的质量，确保数据的一致性和准确性，从而提高机器学习模型的性能和泛化能力。数据预处理的重要性体现在以下几个方面：提高数据质量：数据质量直接影响机器学习模型的性能。通过数据预处理，可以识别和处理数据中的噪声、缺失值和异常值，从而提高数据的质量。模型性能提升：有效的数据预处理可以显著提高模型的精确度和可靠性。
数据预处理 第2篇：数据预处理（缺失值）
悦光阴的博客
12-27 3666
在真实的世界中，缺失数据是经常出现的，并可能对分析的结果造成影响。我们需要了解数据缺失的原因和数据缺失的类型，并从数据中识别缺失值，探索数据缺失的模式，进而处理缺失的数据。本文概述处理数据缺失的方法。 一，数据缺失的原因 首先我们应该知道：数据为什么缺失？数据的缺失是我们无法避免的，可能的原因有很多种，博主总结有以下三大类： 无意的：信息被遗漏，比如由于工作人员的疏忽，忘记而缺失；或者由于数据...
【pandas小技巧】--缺失值的列
Gefangenes的博客
08-07 522
在实际应用中，数据集中经常会存在缺失值，也就是某些数据项的值并未填充或者填充不完整。缺失值的存在可能会对后续的数据分析和建模产生影响，因此需要进行处理。pandas提供了多种方法来处理缺失值，例如删除缺失值、填充缺失值等。删除缺失值可能会导致数据量减少，填充缺失值则能够尽量保留原始数据集的完整性，从而提高数据分析和建模的准确性和可靠性。
python判断行或列是否有缺失值/统计缺失值数量
热门推荐
crj0926的博客
09-13 3万+
1.检查是否有缺失值 列： data.isnull().any() print(data.isnull().any()) false无缺失值/true有缺失值 结果例样： age false name false school true school的这一列有缺失值，其他列无缺失值。 行： data.isnull().any(axis=1) print(data.isnull().any(axi...
sparksql_统计每行缺失值_统计每列缺失值
wj1298250240的博客
01-12 4896
sparksql_统计每行缺失值_统计每列缺失值 df_miss = spark.createDataFrame([ (1, 143.5, 5.6, 28, 'M', 100000), (2, 167.2, 5.4, 45, 'M', None), (3, None , 5.2, None, None, None), (4...
pandas--缺失数据
clony1的博客
01-03 913
一、缺失值的统计和删除 1. 缺失信息的统计 缺失数据可以使用isna或isnull（两个函数没有区别）来查看每个单元格是否缺失，结合mean可以计算出每列缺失值的比例： df = pd.read_csv('../data/learn_pandas.csv', usecols = ['Grade', 'Name', 'Gender', 'Height', 'Weight', 'Transfer']) df.isna().head() df.isna().mean() # 查看缺失的比例 如果想
【Python 实战基础】Pandas如何输出表格数据标题名称列表
菜鸟实战的博客
08-23 2362
Python 中 Pandas如何输出表格数据标题名称列表 文件读写 基础语法 Pandas read_csv
第三章16节-Pandas运用之缺失值处理
weixin_45441862的博客
11-01 1354
缺失值首先需要实际情况定义 可以采取直接删除法 有时候需要使用替换法或者插值法 1、 统计缺失值的数量 首先读取数据 查看数据集中缺失值的情况 df.isnull() 统计每一列缺失值的数量 np.sum(df.isnull())，其参数axis默认值为0，表示按行的方向进行统计，显示的结果就是每一列的缺失值的数量 统计每一行缺失值的数量 np.sum(df.isnull(),axis = 1)，表示按列的方向进行统计，显示结果就是每一行的缺失值的数量 2、 统计每行缺失...
pandas统计缺失数据和重复数据
05-24
在pandas中，可以使用以下方法统计缺失数据和重复数据： 1. 统计缺失数据：使用isnull()方法返回一个布尔型DataFrame，其中缺失值为True，非缺失值为False。然后使用sum()方法将每列中的缺失值数量相加即可。 示例代码： ```python import pandas as pd # 创建一个包含缺失值的DataFrame df = pd.DataFrame({'A': [1, 2, None, 4], 'B': [5, None, None, 8]}) # 统计每列中的缺失值数量 print(df.isnull().sum()) ``` 输出结果： ``` A 1 B 2 dtype: int64 ``` 2. 统计重复数据：使用duplicated()方法返回一个布尔型Series，其中重复的行为True，非重复的行为False。然后使用sum()方法将所有重复行的数量相加即可。 示例代码： ```python import pandas as pd # 创建一个包含重复行的DataFrame df = pd.DataFrame({'A': [1, 2, 3, 4, 2], 'B': [5, 6, 7, 8, 6]}) # 统计重复行的数量 print(df.duplicated().sum()) ``` 输出结果： ``` 1 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值