DataFrame中varchar字段类型过滤其中异常数据(空字符、空格、多个空格)

最新推荐文章于 2022-09-26 15:56:45 发布
最新推荐文章于 2022-09-26 15:56:45 发布
阅读量626 收藏 2
点赞数
分类专栏： 报错处理 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lq_520/article/details/107962824
版权
当处理DataFrame中varchar字段时，若要过滤空字符、空格及多个空格的数据，常规语法可能无法完全剔除。这可能导致数据计数不准确。解决方案包括两次过滤，先过滤掉空数据，再去除空字符和多余的空格，以确保后续算法的准确性。遵循良好的编码规范对此问题的预防至关重要。
摘要由CSDN通过智能技术生成

现象:

对DataFrame中 varchar类型字段取不为空数据时，notnull()语法未剔除为空‘’，一个空格‘ ’，多个空格的情况，导致对数据进行计数或者其他操作会不准确

原因:

对DataFrame中varchar类型字段取不为空数据时，notnull()语法未剔除为空‘’，一个空格‘ ’，多个空格的情况

​ 举例:

​ 如有DataFrame:df =

 fruit

0   None

1    NaN

2       

3       

4       

5  apple

6  peach

7   kill

​ 看着展示结果前五个值都为空，都应该过滤掉，使用平常取出不为空的语法：df[df["fruit"].notnull()]结果为：

fruit

2
最低0.47元/天 解锁文章
luqin_
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
筛选DataFrame缺失值
cbright的博客
07-21 1424
DataFrame下dropna()代码示例 1.默认情况下，dropna()会删除包含缺失值的行 #这种情况下，其实是drop(axis=0,how=‘any’) data = pd.DataFrame([[1,6.5,3],[1,None,None], [None,None,None],[None,6.5,3]]) cleaned = data....
python 去掉空格_如何从Python DataFrame中去除空格在这个例子中
weixin_39545017的博客
11-24 3234
使用applymap到数据帧，applymap施加一拉每个单元格上的mbda函数。在lambda函数中拆分字符串（白色空格在其中被忽略）然后加入它。如果有一个int，那么你可以在lambda函数中使用if else。from pandas import Series, DataFrameimport pandas as pdimport numpy as np#read data from Dat...
关于一些DataFrame的一些异常数据检查 笔记
wangyuhao07的博客
01-09 1258
刚刚开始学习机器学习，学了很短时间的pandas，使用一些api不熟练，经常忘记。      很菜，所以来记一下笔记，加深印象，方便日后查找（百度了太多才找到我想要的。。。。懒得搜了以后）。     ----删除异常数据行  datas = df.replace('?', np.nan).dropna(how = 'any') # 所有的’？‘替换为nan,之后只要有列为空，就进行删除操作...
dataframe反向过滤掉某列中的特定字符串
lingan_Hong的博客
06-09 605
dataframe反向过滤掉某列中的特定字符串 我们使用 df = data[~data.var.str.contains('支付宝|微信|还款')] 如此即可。
python杂记与dataframe常见操作(筛选，groupby,str.contain,时间差）
tanlangqie的博客
08-22 3320
black_list = df_filter.query(“is_black_x == ‘1’”)[‘open_id_x’].unique().tolist() nan与none相关 #1 查看含有nan的行 df[df.isna().any(axis=1)] 删除有nan的行 df.drop(df[np.isnan(df.group_click_num)&np.isnan(df.individual_click_num)].index, inplace=True) #判断每列是否有缺失指 data
Pandas过滤dataframe中包含特定字符串的数据方法
09-19
这种过滤方法适用于任何包含字符串的DataFrame列，不仅可以查找精确匹配，还可以使用正则表达式进行更复杂的匹配，如使用`^`（开始）、`$`（结束）、`*`（零个或多个）、`+`（一个或多个）等。此外，还可以使用`case...
python dataframe astype 字段类型转换方法
09-20
输出可能如下所示，显示了每个字段的数据类型，其中`col1`是字符串类型，而`col2`也是字符串类型： ``` col1 object col2 object dtype: object ``` 若要将`col2`字段转换为整数类型，我们可以使用`astype`方法，...
Python DataFrame设置/更改列表字段/元素类型的方法
09-20
以下是一个具体的例子，演示如何将DataFrame中的列表字段转换为指定的数据类型： ```python import pandas as pd # 假设我们有一个包含浮点型数据的DataFrame data = { 'PassengerId': [1.0, 2.0, 3.0], '...
python笔记10:数据处理之去除空格
aiyo92的专栏
01-15 1790
# -*- coding: utf-8 -*- #strip函数作用：清除字符型数据左右的空格。 #strip函数语法：strip from pandas import read_csv df = read_csv("D:/python/workspace/pythonStudy/10.csv") newName = df['key'].str.lstrip() #去除左边的空格 newN...
Python Pandas DataFrame 删除缺失值 None Nan drop dropna 替换缺失值 fillna 重复值删除 duplicate 数值替换 replace apply
好记性不如烂笔头
09-26 9740
一、获取缺失值。 二、剔除缺失值drop dropna。 三、缺失值补全 fillna。 四、重复值剔除 duplicate（按照行和列）。 五、数值转换 replace apply applymap。
python dataframe 选择某一列非空的行
达达的博客
12-09 1万+
如下所示 data 为 dataframe 对象 col 为对应的列 data[(data["col"].notnull()) & (data["col"] != "")]
【转载】使用Pandas对数据进行筛选和排序
aiqituo9030的博客
11-02 1万+
使用Pandas对数据进行筛选和排序 本文转载自：蓝鲸的网站分析笔记 原文链接：使用Pandas对数据进行筛选和排序 目录： sort() 对单列数据进行排序 对多列数据进行排序 获取金额最小前10项 获取金额最大前10项 Loc 单列数据筛选并排序 多列数据筛选并排序 按筛选条件求和(sumi...
数据清洗--DataFrame中的空值处理
戴翔的技术博客
12-07 5万+
数据清洗是一项复杂且繁琐的工作，同时也是整个数据分析过程中最为重要的环节。首先，构造一个包含NaN的DataFrame对象。>>> import numpy as np >>> import pandas as pd >>> from pandas import Series,DataFrame >>> from numpy import nan as NaN >>> data = DataFram
python怎么检查dataframe 含有none值_关于python：在Pandas DataFrame中用None替换无效值...
weixin_39723102的博客
12-13 4932
在Python的Pandas中，是否有任何方法可以用None替换值？您可以使用df.replace('pre', 'post')并将其替换为另一个值，但是如果要替换为None值则无法执行此操作，如果尝试这样做，则会得到奇怪的结果。所以这是一个例子：df = DataFrame(['-',3,2,5,1,-5,-1,'-',9])df.replace('-', 0)返回成功的结果。但，df.repl...
DataFrame.filter(Column.notEqual("value"))会不会过滤NULL值
Alan's Blog
07-15 1458
select * from table where column != "value"; 这样一句SQL妇孺皆知，而且在MySQL/Oracle中column为 null 的也会被过滤掉；那么在Spark中表现又会是怎样呢？（Spark SQL也在悄悄得往SQL的语法标准上靠） import org.apache.log4j.{Level, Logger} import org.apache...
python dataframe NaN处理
chinacmt的博客
08-12 2万+
将dataframe中的NaN替换成希望的值import pandas as pd df1 = pd.DataFrame([{'col1':'a', 'col2':1}, {'col1':'b', 'col2':2}]) df2 = pd.DataFrame([{'col1':'a', 'col3':11}, {'col1':'c', 'col3':33}])data = pd.merge(left
pandas.DataFrame删除/选取含有特定数值的行或列
热门推荐
luocheng7430的博客
06-20 31万+
1.删除/选取某列含有特殊数值的行 import pandas as pd import numpy as np a=np.array([[1,2,3],[4,5,6],[7,8,9]]) df1=pd.DataFrame(a,index=['row0','row1','row2'],columns=list('ABC')) print(df1) df2=df1.copy() #删除/选取...
06 pandas DataFrame - 数据过滤、NaN处理、统计方法
weixin_33943836的博客
09-17 4007
=== 数据过滤获取 === 个人觉得并没有什么用，完全可以用切片或索引器代替 stu_info = pd.read_excel('student_info1.xlsx',sheetname='countif',index_col='学号').head(3) stu_info[stu_info.columns...
利用Python Pandas进行数据预处理-数据清洗
YEN_CSDN的博客
12-03 7万+
数据缺失、检测和过滤异常值、移除重复数据 数据缺失 数据缺失在大部分数据分析应用中都很常见，Pandas使用浮点值NaN表示浮点和非浮点数组中的缺失数据，他只是一个便于被检测出来的数据而已。from pandas import Series,DataFramestring_data=Series(['abcd','efgh','ijkl','mnop'])print(string_data) pr
python使用for循环将数据写入空的包含两个字段的dataframe中
最新发布
05-30
好的，假设你已经有一个空的DataFrame，它包含两个字段（列）：'A'和'B'。你可以使用for循环将数据写入该空DataFrame中。以下是一个示例代码： ```python import pandas as pd # 创建一个空的DataFrame df = pd....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值