重复值和缺失值和空格值的处理

最新推荐文章于 2022-06-30 21:48:21 发布
最新推荐文章于 2022-06-30 21:48:21 发布
阅读量477 收藏
点赞数
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wayne0926/article/details/95340984
版权
使用Pandas库在Python中处理数据时，针对重复值，可以通过`duplicated()`和`drop_duplicates()`函数进行检查和删除。对于缺失值，可以使用`read_csv()`的`na_values`参数指定视为缺失值的内容，然后用`isnull()`检测，`fillna()`填充或`dropna()`删除。空格值的处理包括使用字符串方法`lstrip()`, `rstrip()`和`strip()`去除左右或两侧的空格。" 112899275,10545531,Linux tcpdump到Wireshark十六进制转换教程,"['网络协议', '数据捕获', 'Wireshark工具', '十六进制转换', 'Linux命令']
摘要由CSDN通过智能技术生成

#重复值处理
from pandas import read_csv
ak=read_csv('D://Python projects//reference data//4.3//data.csv')
#找出重复的位置
al=ak.duplicated()
#根据某些列判断是否重复
ao=ak.duplicated('id')
ai=ak.duplicated(['id','key'])
#提取重复行
ak[ai]
ak[ak.duplicated(['id','key'])]
#默认根据所有列删除重复值
new_ak=ak.drop_duplicates()
#也可以根据某一列删除重复值
new_po=ak.drop_duplicates('key')


#缺失数据的处理
from pandas import read_csv
sf=read_csv('D://Python projects//reference data//4.4//data.csv')
#规定指定字符为nan值
sd=read_csv('D://Python projects//reference data//4.4//data2.csv',
            na_values=['a','b','Apple'])
#找出空值的位置(返回布尔值)
isNA=sf.isnull()
#获取空值所在的行
sf[isNA.any(axis=1)]
#找出某列为NAN的行
sf[isNA[['key']].any(axis=1)]
sf[isNA[[

最低0.47元/天 解锁文章
Wayne0926
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据处理之重复值，缺失值，空格值的处理
Jump的博客
09-17 1616
重复值处理 去除重复值在python中主要是用drop_duplicates函数，接下来做个小示范( 这边是我的文件路径，如果你想实现此功能需要输入自己的文件路径)： # -*- coding: utf-8 -*- import pandas as pd df = pd.read_csv(r'/Users/herenyi/Downloads/4/4.3/data.csv', encoding...
列表里的空值与重复值处理
Rov3rn的博客
03-05 424
今天爬了韩语考试网的东西。结果之前访问太多被封了IP，后来用了免费代理也不好使，最后请另外一个朋友帮我安排了，设置了time.sleep(5)，就没被封IP了。 由于爬下来的东西实在是乱，就稍微处理了一下。遇到一个问题：有一个list里面有空值（不知道这样说合适不合适）。 比如 list = ['1','','3'] list[1] is None False '' in list True...
缺失值处理，空格值处理
erinapple的博客
02-17 446
dropna()：去除数据结构中值为空的数据strip():去除字符型数据左右的空格# -*- coding: utf-8 -*- """ Created on Sat Feb 17 11:52:49 2018 @author: erin """ #http://www.tbk.ren/article/19.html from pandas import read_csv; df = read...
Excel查找一列中的相同值，删除该行或替换为空值
cy413026的博客
06-30 5215
设在Excel中有一列数据如下： A4-A23中有很多相同的值，下面分别给出删除重复值，替换为空值和合并的操作 选择数据中的删除重复值即可 效果如下：有时场景如下 A列虽然有重复 B列不一样，我们不能直接删除A列重复的行，而是只需要将A列重复的行替换为空值 操作过程如下： 1.在辅助列用公式找出重复的数据并标记2.复制并粘贴辅助列为值 3.筛选出带有chognfu的行 4.选中所有带有重复的单元格，右键 清除内容，效果如右下图 此时已经完成了替换为空值(注意区分空值和空白字符""的区别，=IF(COUNT
python多列填充缺点_pyspark数据挖掘中，如何填充缺失值(多列填充，均值填充)
weixin_39658318的博客
12-09 842
填充均值直接上代码import pyspark.sql.functions as fn#均值填充mean = df.agg(*(fn.mean(c).alias(c) for c in concate_col))meaninfo = mean.first().asDict()meandf = df.fillna(meaninfo)为了保证线上线下的一致性，可以将每一列的均值持久化，线上预测的时候可...
matlabPowerQuery的M语言函数和代码段.zip
最新发布
05-15
例如，`Text.Trim`去除文本中的空格，`Table.ReplaceErrorValues`用于替换错误值，`Table.FillDown`或`Table.FillUp`可以填充缺失值。 5. **自定义函数**： 如果标准的M函数不能满足需求，你可以创建自己的M函数。...
如何用Python进行大数据挖掘和分析.docx
03-22
异常值处理：清除不必要的空格和极端、异常数据 相关操作：描述性统计、Apply、直方图等 合并：符合各种逻辑关系的合并操作 概率论及统计学知识有了统计学的基本知识，你就可以用这些统计量做基本的分析了。你可以...
kis 标准版常见问题处理
06-18
使用系统提供的运算符、条件和项目，注意空格和语法错误，可参考帮助文档进行设置，并在软件中实践。 对于这些常见问题，理解其原因和解决方案，可以帮助用户更有效地管理和维护金蝶KIS标准版系统，提高工作效率。
Excle和数据库数据互导工具
08-17
这可能包括检查数据的完整性和一致性，去除重复项，以及处理缺失值。 7. 错误处理：在数据导入过程中，可能会遇到数据类型不匹配、字段长度不足等问题，工具应该提供一定的错误处理机制，如忽略错误行、暂停导入或...
使用cvs和数据库把excel里的数据整理成想要的格式
10-23
使用SQL查询或数据库管理工具检查并清理缺失值、重复值或其他错误。 5. **数据导入**：使用SQL的`LOAD DATA INFILE`命令（对于MySQL）或类似功能将CVS文件导入数据库。确保字段与数据库表结构匹配。 6. **数据转换...
python数据清洗工具、方法、过程整理归纳（六、数据清洗之数据预处理（一）——重复值处理、缺失值处理）
crystal_sugar的博客
02-18 2279
1 背景 数据清洗是整个数据分析过程的第一步，也是整个数据分析项目中最耗费时间的一步； 数据分析的过程决定了数据分析的准确性。 2 常用工具 2.1 numpy numpy常用数据结构: numpy中重用的数据结构是ndarray格式 使用array函数创建，语法格式为array（列表或元组） 可以使用其他函数例如arange/linspace/zeros等创建 i...
【Python 数据科学】处理空值和重复值
Mercy92的博客
07-26 1211
文章目录1.空值1)填充2)删除2.重复值 >>>import pandas as pd >>>import numpy as np >>>position=pd.read_csv('test.csv',encoding='gbk') >>>position studentId...
Pandas数据分析②——数据清洗（重复值/缺失值/异常值）
热门推荐
cindy407的博客
06-04 3万+
数据清洗主要分为三步： 重复值处理——删除（有几个相同就删除还是全部得相同） 缺失值处理——删除，填充（均值，众数，中位数，前后相邻值），插值（拉格朗日插值，牛顿插值） 异常值处理——describe进行描述性分析+散点图+箱型图定位异常值，处理方法：删除，视为缺失值 一、重复值处理 ① 先用duplicated()方法进行逻辑判断，确定是否有重复值 data = pd.read_csv("dat...
R中重复值、缺失值及空格值的处理
Erin的博客
07-11 1万+
6.1 R中重复值的处理 #导入CSV数据 data <- read.csv('1.csv', fileEncoding = "UTF-8", stringsAsFactors = FALSE); #对重复数据去重 new_data #重复值处理函数：unique，用于清洗数据中的处理重复值。 6.2 R中缺失值的处理 #缺失数据清洗 #读取数据 data <- read.csv('1.
缺失值的处理方法
akon_wong_hkbu的博客
10-10 675
（1）缺失量较少，用填充方法 （2）缺失量很大，丢弃该字段 （3）缺失量适中，可以作为一个新的类型
RapidMiner 数值调整
YueR
04-23 2831
一、调整日期//概述 通过添加或减少指定的时间量，调整指定列的日期。//描述 通过在任意单元给属性值添加一个恒定值作为天，小时或秒，这个操作符允许调整日期属性。//输入 example set input: 期望 : 实例集元数据: #examples: = 0; #attributes: 0//输出 example set output: original://参数 attribute name:
【空格】前后是非多，它能导致大故障，请看
高效运维
01-29 737
系统运维从来就是一个精细化的工作，除了规则与规范的约束之外，运维人员的严谨、谨慎也必不可少，有时候一个简单的错误就会导致一场灾难，小到一个字符，一个空格。本文的案例就是因为一个空格导致的，Oracle RAC遭遇故障重启。故障现象：客户10.2.0.4 RAC for Solaris 10环境突然出现了实例重启。故障过程：数据库正常运行到下午3点左右，随后两个节点分别重启，其中一个节点上的实例无法
pandas 终极版5: 字符串和缺失值处理
小网管
08-09 3289
有些时候我们的数据是字符串形式的，pandas也能方便的处理。
python处理csv中的缺失值_Python中重复值、缺失值、空格值处理
05-26
在 Python 中，处理 CSV 文件中的缺失值可以使用 pandas 库。具体的步骤如下： 1. 导入 pandas 库 ``` import pandas as pd ``` 2. 读取 CSV 文件 ``` df = pd.read_csv('file.csv') ``` 3. 处理缺失值 - 查看缺失值 ``` print(df.isnull().sum()) ``` - 去掉含有缺失值的行 ``` df = df.dropna() ``` - 填充缺失值 ``` df = df.fillna(0) # 填充为 0 df = df.fillna(method='ffill') # 填充为前一个值 df = df.fillna(method='bfill') # 填充为后一个值 ``` 4. 保存处理好的 CSV 文件 ``` df.to_csv('new_file.csv', index=False) ``` 以上是处理缺失值的基本步骤，如果需要处理重复值或者空格值，可以使用类似的方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值