Python查看数据基础信息、缺失值和重复值处理

最新推荐文章于 2024-04-07 20:30:35 发布
VIP文章 最新推荐文章于 2024-04-07 20:30:35 发布
阅读量3.6k 收藏 47
点赞数 5
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wymmyg/article/details/105881401
版权

1.1预览数据前几行

df.head()   #默认为前5行，也可以自行设置
df.head(10)

1.2查看数据表大小

df.shape

1.3获取数据类型

df.info()

1.4查看数据分布情况

df.describe()
''&
最低0.47元/天 解锁文章
wymmyg
关注
  • 5
    点赞
  • 踩
  • 47
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python 数据清洗
ww08153115的博客
07-09 865
文章目录1. 查看数据1.1. 数据抽样1.2. 数据形状1.3. 数据整体情况2. 缺失值处理2.1. 统计缺失值判断缺失统计缺失2.2. 删除缺失值删除方法按行删除按列删除2.3. 填补缺失值填补方法固定值填补上下值填补3. 数据类型处理修改数据类型格式正确 基于第三方库Numpy及Pandas 进行数据清洗 1. 查看数据 查看数据数据抽样整体概况字段解读数据形状判断数据规模 1.1. 数据抽样 查看前n条数据 : data.head(n) 默认前5条 查看后n条数据: data.tail(n) 默
python数据分析——数据查看与选取(一)
热门推荐
黄俊文的博客
08-08 4万+
前面已经讲了如何用pandas导入数据，这篇文章就来讲一些常用的数据查看、数据选取。做到了这一步，就可以进行一些快速的描述性分析了！ 要查看数据与选取数据，我们首先得了解python里数据存储的方式，然后才能进行数据查看、数据选择、数据清洗、数据分析、数据建模等。。 所以本文将分为： 数据结构 常用查看/选择数据函数 函数代码案例 （本文会结合大家常用的excel和sql的思维模式来讲解...
查看数据库基本信息
06-29
只要你输入数据库的连接串，即可查询数据库基本信息，包括包含哪些表，字段，类型等等信息。 适用各种数据库:SQLSERVER,SYbase,access,oracle, mysql,informax,...... 包含源码和执行文件
python数据分析及可视化（十八）Power BI（数据获取、整理、清洗以及可视化、Power Query的基本操作、删除及增加列）
hwwaizs的博客
12-27 7884
Power BI 对数据的获取、整理、清洗以及可视化、Power Query的基本操作、删除及增加列
4种检测Python缺失值的方法
最新发布
csdn1561168266的博客
04-07 886
大家好，在数据科学和分析领域，遇到数据缺失更多是常规而不是例外。缺失值可能会使分析结果出现偏差，导致错误的结论，并且通常还会干扰数据处理流程。解决这些缺失对于保持分析的完整性至关重要。本文将介绍在Python中识别NaN（非数字）值的不同方法，在处理Python中的缺失值时，方法在很大程度上取决于正在处理的数据结构。
Python 查看数据常用函数
ymengm的博客
04-23 2547
查看数据可以用很多函数，这里就挑选几个最常用的进行简单展示
python：数据统计及数据可视化
Junehhhhh的博客
03-14 3650
本文主要介绍数据统计及数据可视化的常用方法，包括数据字段的统计，柱状图的绘制等
数据分析之Python干货笔记
weixin_67991858的博客
03-17 1012
本篇文章分享数据分析中Python常用代码，包括数据预览、数据清洗、特征分析等，每一大类里面也会具体细分，尽可能全面、易懂，之后实际运用中需要哪种可以选择性参考运用。文中会结合实际案例展示效果，数据集选用上次参加比赛的二手车价格预测为例。
二、大数据实践项目——数据分析与处理
Unyielding will
03-27 1万+
一、数据处理主要任务 二、数据集处理 1、查看数据集基本情况 调用 info() 函数来查看数据data的基本情况，包括数据维度，字段名称和类型以及有无缺失值，数据占用内存等。（以下为部分字段信息） 可见总的数据47447行，少于此数值的为有数据缺失。 2、查看数据基本统计信息 data_des = data.describe(include='all') 可以从基...
数据清洗——Pandas统计缺失值数量、查看数据信息、数据总体概述
cc的博客
02-15 1万+
进行数据挖掘的时候，在读取数据后，通常要对所分析建模的数据有一个总体了解。因此需要对数据进行缺失值统计、查看数据分布、查看数据表中每一列的信息等等。 这些在pandas中都有现成的工具，直接调用函数，即可对我们的数据进行一个大致的了解。 这里我们使用titanic生存者数据，进行演示，数据如下： 查看数据信息——titanic.info() titanic.info()...
Python数据分析实战-查看DataFrame数据概况基本操作（附源码和实现效果）
数据杂坛
02-13 1449
Python数据分析实战-查看DataFrame数据概况基本操作（附源码和实现效果）
空值和缺失值的处理和重复值的处理.pptx
02-04
Python数据分析应用
python常用数据重复项处理方法
01-02
在数据的处理过程中,一般都需要进行数据清洗工作,如数据集是否存在重复,是否存在缺失,数据是否具有完整性和一致性,数据中是否存在异常值等.发现诸如此类的问题都需要针对性地处理,下面我们一起学习常用的数据清洗...
数据清洗之 重复值处理
01-20
数据清洗一般先从重复值和缺失值开始处理 重复值一般采取删除法来处理 但有些重复值不能删除，例如订单明细数据或交易明细数据等 import pandas as pd import numpy as np import os os.getcwd() 'D:\\Jupyter\\...
python数据分析与处理
07-26
在数据分析前，需要进行数据清洗和预处理，包括填充缺失值、处理异常值、去除重复值等操作。 数据探索与可视化：通过使用Python中的数据分析库（如Pandas、NumPy）和可视化库（如Matplotlib、Seaborn）对数据进行...
Python_pandas_数据清洗和预处理.docx
09-17
python的pandas库中用于进行数据清洗和预处理的精炼集成代码（包括数据审核、缺失值处理、异常值处理、重复值处理以及数据标准化）
python 数据分析 |3. Pandas 学习
V_jome的博客
12-08 2259
利用Pandas库可以快速地完成数据读写、数据分片／分组统计、数据整理等操作。Pandas的所有功能都是构建在两个最基础的数据结构之上：Series与DataFrame Series是一种类似于一维数组的对象，由一组数据，以及一组与之相关的数据标签（即索引）组成。 DataFrame是一个表格型的数据结构，包含一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型等），DataFrame既有行索引，也有列索引，可以看作是由Series组成的字典。 1 DataFrame 1....
python判断行或列是否有缺失值/统计缺失值数量
crj0926的博客
09-13 3万+
1.检查是否有缺失值 列： data.isnull().any() print(data.isnull().any()) false无缺失值/true有缺失值 结果例样： age false name false school true school的这一列有缺失值，其他列无缺失值。 行： data.isnull().any(axis=1) print(data.isnull().any(axi...
python输出数据 缺失值_Python进行数据缺失值处理
weixin_42513512的博客
02-01 1585
基础知识空缺值处理的必要性和复杂性01数据缺失在许多研究领域都是一个复杂的问题，对于数据挖掘和研究人员来说，数据准备(Data Preparation，包括数据的抽取、清洗、转换和集成)常常占据了70%左右的工作量。然而在数据准备的过程中，数据质量差又是最常见而且令人头痛的问题，空缺值的存在，造成了以下影响：首先，系统丢失了大量的有用信息；其次，系统中所表现出的不确定性更加显著，系统中蕴...
如何用Python过滤Excel数据中的缺失值、重复值和异常值
06-09
可以使用Python中的pandas库和numpy库来过滤Excel数据中的缺失值、重复值和异常值。 ### 过滤缺失值 使用pandas库中的`dropna()`方法可以过滤缺失值。该方法默认会删除包含缺失值的行，也可以使用`subset`参数指定需要删除缺失值的列。 ```python import pandas as pd # 读取Excel文件 df = pd.read_excel('data.xlsx') # 过滤缺失值 filtered_df = df.dropna() # 将过滤后的数据保存到新的Excel文件中 filtered_df.to_excel('filtered_data.xlsx', index=False) ``` ### 过滤重复值 使用pandas库中的`drop_duplicates()`方法可以过滤重复值。该方法默认会删除完全相同的行，也可以使用`subset`参数指定需要删除重复值的列。 ```python import pandas as pd # 读取Excel文件 df = pd.read_excel('data.xlsx') # 过滤重复值 filtered_df = df.drop_duplicates() # 将过滤后的数据保存到新的Excel文件中 filtered_df.to_excel('filtered_data.xlsx', index=False) ``` ### 过滤异常值 使用numpy库中的`percentile()`方法可以计算数据的百分位数，根据设定的阈值过滤异常值。 ```python import pandas as pd import numpy as np # 读取Excel文件 df = pd.read_excel('data.xlsx') # 计算第75百分位数和第25百分位数 q75, q25 = np.percentile(df['列名'], [75 ,25]) # 计算四分位距 iqr = q75 - q25 # 计算上下界限 upper_bound = q75 + 1.5 * iqr lower_bound = q25 - 1.5 * iqr # 过滤异常值 filtered_df = df[(df['列名'] > lower_bound) & (df['列名'] < upper_bound)] # 将过滤后的数据保存到新的Excel文件中 filtered_df.to_excel('filtered_data.xlsx', index=False) ``` 其中，`列名`是需要过滤异常值的列的名称，`1.5`是设定的阈值，可以根据需要进行修改。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值