Python 数据清洗

最新推荐文章于 2024-04-21 08:30:00 发布
最新推荐文章于 2024-04-21 08:30:00 发布
阅读量882 收藏 18
点赞数
分类专栏： 数据分析 文章标签： python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ww08153115/article/details/107222569
版权
本文详细介绍了Python数据清洗的各个步骤，包括查看数据、处理缺失值、删除重复值、修改数据类型、处理异常值和字符串操作。通过data.head()、data.tail()、data.sample()、data.isnull().sum()等方法进行数据抽样和统计，使用fillna()填充缺失值，dropna()删除缺失值，drop_duplicates()删除重复值，并展示了astype()和describe()在数据类型转换和异常值处理中的应用。
摘要由CSDN通过智能技术生成

文章目录


基于第三方库Numpy及Pandas 进行数据清洗

1. 查看数据
查看数据
数据抽样
整体概况
字段解读
数据形状
判断数据规模

1.1. 数据抽样

  • 查看前n条数据 : data.head(n) 默认前5条
  • 查看后n条数据: data.tail(n) 默认后5条
  • 随机抽样: data.sample(n) 默认抽取1条

1.2. 数据形状

data.shape 元组类型

  • 显示: (行数, 列数)
  • 注意: shape是属性, 不加’()’

1.3. 数据整体情况

data.info()

  • 内部显示整体长度及每一列的非空长度和数据类型
  • 注意: info()函数没有返回值, 只有输出, 所以只能看到而不能获取到

2. 缺失值处理

最低0.47元/天 解锁文章
钢筋工
关注
  • 0
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
用Python进行数据清洗！
Pythoncxy的博客
09-19 700
导读：数据清洗是数据分析的必备环节，在进行分析过程中，会有很多不符合分析要求的数据，例如重复、错误、缺失、异常类数据。 Python资源共享群：626017123 01 重复值处理 数据录入过程、数据整合过程都可能会产生重复数据，直接删除是重复数据处理的主要方法。pandas提供查看、处理重复数据的方法duplicated和drop_duplicates。以如下...
关于参数thresh的理解（pd.dropna(thresh=n)）
arwui1950的博客
09-05 5946
书上的表达：假设你只想保留包含一定数量的观察值的行，可以使用thresh参数来表示。 嗯嗯嗯....有些模棱两可。摸索了一番，终于理解了。 格式：df.dropna ( thresh=n ) 简单的理解：这一行除去NA值，剩余数值的数量大于等于n，便显示这一行。 1.先创建数组，代码如下： 1 import numpy as np 2 from...
图像阈值处理threshold函数（python）
weixin_44917060的博客
07-18 6668
图像阈值函数为： ret，dst = cv2.threshold(src,thresh,maxval,type) 参数说明： ret：设置的阈值，数值等于thresh dst：输出图 src：输入图，只能输入单通道图像，通常来说为灰度图 thresh：阈值 maxval：最大值，当像素值超过了阈值（或者小于阈值，根据type来决定），所赋予的值 type：二值化操作的类型，包含以下5种类型：cv2.THRESH_BINARY；cv2.THRESH_BINARY_INV；cv2.THRESH_TRUNC；c
Python中处理缺失值的2种方法
最新发布
zhishi0000的博客
04-21 887
第一种处理缺失值的方法就是dropna()方法的参数如下所示。axis=0axis=1输出：how参数中，any表示一行/列有任意元素为空时即丢弃，all表示一行/列所有值都为空时才丢弃。在上一行代码中，未设置how参数，则默认为any。输出：thresh参数中，比如thresh=3，如果该行中非缺失值的数量小于3，将删除该行。
opencv-python学习【6】阈值处理
m0_63462829的博客
09-05 1387
阈值处理，自适应阈值处理
opencv-python图像二值化函数cv2.threshold函数详解及参数cv2.THRESH_OTSU使用
热门推荐
kwame211的博客
01-11 2万+
cv2.threshold()函数的作用是将一幅灰度图二值化，基本用法如下： #ret:暂时就认为是设定的thresh阈值，mask：二值化的图像 ret,mask = cv2.threshold(img2gray,175,255,cv2.THRESH_BINARY) plt.imshow(mask,cmap='gray') 上面代码的作用是，将灰度图img2gray中灰度值小于175的点置0，...
opencv学习—threshold函数的使用（python）
ISP行业的忠实粉丝
10-10 2877
opencv学习—threshold函数的使用 目录 opencv学习—threshold函数的使用 阈值类型 python代码： 示例如下： 参考博客 图像阈值分割是一种广泛应用的分割技术，利用图像中要提取的目标区域与其背景在灰度特性上的差异，把图像看作具有不同灰度级的两类区域(目标区域和背景区域)的组合，选取一个比较合理的阈值，以确定图像中每个像素点应该属于目标区域还是背景区域，从而产生相应的二值图像。OpenCV中提供了函数cv2.threshold(); 阈值分割法的特点是：适用于目
Python数据清洗
X_dmword的博客
03-17 946
1、缺失值的处理 准备：pandas、numpy、sklearn.preprocessing中的Imputer类 import pandas as pd import numpy as np from sklearn.preprocessing import Imputer data = pd.DataFrame(np.random.randn(6, 4), columns=['col1'...
python数据清洗
07-22
本资源部分参考《干净的数据 ——数据清洗入门与实践》，但更多的都是个人撰写。
Python数据清洗实践
02-24
数据清洗是数据科学中很少提及的一点，因为它没有训练神经网络或图像识别那么重要，但是数据清洗却扮演着非常重要的角色。没有它，机器学习预测模型将不及我们预期那样有效和精准。下面我将讨论这些不一致的数据：列
python数据清洗预处理
01-10
在实际工作中获取到的数据往往不那么理想，可能会存在非数值类型的文本数据、重复值、缺失值、异常值及数据分布不均衡等问题，而对于这些问题，则需要进行特征工程相关工作，特征工程通常分为特征使用方案、特征获取...
python数据清洗excle
10-05
按照列不同属性分成多个sheet 请理重复数据 请理异常数据包括> *等数据中符号的处理 不规则数据的处理 包括单位的转换操作等
python数据清洗Pandas指导手册
01-28
Python数据清洗是数据分析过程中的重要环节，Pandas库则是Python中进行数据操作和清洗的核心工具。本手册将深入探讨如何利用Pandas有效地处理和清洗数据，以帮助初学者快速掌握这一技能。 一、Pandas简介 Pandas是...
Python 中处理缺失值的 2 种方法
AI科技大本营
06-10 8166
作者 |朱小五来源 | 快学Python查找到了缺失值，下一步便是对这些缺失值进行处理，今天同样会分享多个方法！删除-dropna第一种处理缺失值的方法就是删除，dropna()方法的参数如下所示。df.dropna(axis=0,how='any',thresh=None,subset=None,inplace=False)参数说明：axis：选择删除行还是列...
python-opencv第四期：threshold函数详解
追星，但也不要忘了土地
10-07 1万+
​ 众嗦粥汁所周知，在如今计算机视觉（Computer Versionshort for CV）是人工智能与机器人技术发展的一个重大研究方向，而opencv作为一个专门为机器视觉编程提供技术与函数支持的第三方库，自然是一个需要重点研究的内容。 本期所要介绍的函数是opencv库中的函数——threshold。 ​
如何使用json修改参数_如何正确在pandas里使用thresh参数(补充)
weixin_39733812的博客
11-20 230
在本篇中，我们来简单介绍一下thresh参数以及使用。在之前的缺失值处理中，我们说到了填充（fillna函数）：侦探L：如何处理Pandas里的缺失值(入门篇2)​zhuanlan.zhihu.com其中，有一个参数是thresh，现在我们来重新说说这个参数的用法。这一次我们直接从例子出发:还是老套路，先建立一个数据表：import pandas as pd import numpy as np ...
【python】数据预处理：删除缺失值/空值
学无止境、积少成多、厚积薄发
05-17 6838
从图像处理到数据分析。。。硬接活啊，就当做对自己的一种历练了。 需求介绍： 读入的数据表格中有很多缺失值，由于数据量很大，不需要对缺失值进行中值填充、均值填充，直接删除即可。每一条数据都有很多特征。。。 像这样：x1,x2,x3,x4,nan,x6,x7,y x表示特征值，y表示该条数据的标签，nan表示空值 废话不多说，直接上代码： 导包、构建虚拟的数据集 import numpy as np import pandas as pd n = 7 DataList = [[str(n-i) for j i
python 数据清洗
07-27
- *1* *2* *3* [Python数据清洗 | 常用的数据清洗方法](https://blog.csdn.net/GODSuner/article/details/114447458)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值