python解决pandas处理缺失值为空字符串

最新推荐文章于 2024-06-07 15:07:49 发布
最新推荐文章于 2024-06-07 15:07:49 发布
阅读量2.9w 收藏 27
点赞数 7
分类专栏： 问题解决方案 Python 文章标签： bug python csv 缺失值 pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/silence2015/article/details/65643125
版权

踩坑记录：


用pandas来做csv的缺失值处理时候发现奇怪BUG，就是excel打开csv文件，明明有的格子没有任何东西，当然，我就想到用pandas的dropna()或者fillna()来处理缺失值。但是pandas读取csv文件后发现那个空的地方isnull()竟然是false，就是说那个地方有东西。。。后来经过排查发现看似什么都没有的地方有空字符串，故pandas认为那儿不是缺失值，所以就不能用dropna()或者fillna()来处理。


解决思路：先用正则将空格匹配出来，然后全部替换为NULL，再在用pandas读取csv时候指定 read_csv（na_values='NULL'）就是将NULL认为是nan处理，接下来就可以用dropna()或者fillna()来处理了

Shane Zhao
关注
  • 7
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
pandas使用fillna函数将dataframe中缺失值替换为空字符串（replace missing value with blank string in dataframe）
data+scenario+science+insight
02-01 1018
pandas使用fillna函数将dataframe中缺失值替换为空字符串（replace missing value with blank string in dataframe）
python pandas消除空值和空格以及 Nan数据替换方法
09-20
今天小编就为大家分享一篇python pandas消除空值和空格以及 Nan数据替换方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
（14）pandas缺失值的处理
2301_79149013的博客
07-25 115
pandas里面的空值是一个浮点类型，而python里面的空值，是一个对象类型运行结果【优化nan】pandas的所有对象，都会将python中原有的None，优化成NaN给pandas对象的某一个元素赋值为None，解释器会自动将其优化为NaN。运行结果调用DataFrame的“.dtypes”方法，可以查看每一列元素的类型。运行结果过滤函数.dropna()：默认删除nan所在的行运行结果。
Python-pandas的fillna()方法-填充空值
最新发布
changzi990的博客
06-07 558
定义了填充空值的方法， pad / ffill表示用前面行/列的值，填充当前行/列的空值， backfill / bfill表示用后面行/列的值，填充当前行/列的空值。如果method被指定，对于连续的空值，这段连续区域，最多填充前 limit 个空值（如果存在多段连续区域，每段最多填充前 limit 个空值）。如果为True，则在原DataFrame上进行操作，返回值为None。
python pandas缺失值处理_Python Pandas对缺失值的处理方法
weixin_39896617的博客
03-01 276
Pandas使用这些函数处理缺失值：isnull和notnull：检测是否是空值，可用于df和seriesdropna：丢弃、删除缺失值axis : 删除行还是列，{0 or ‘index', 1 or ‘columns'}, default 0how : 如果等于any则任何值为空都删除，如果等于all则所有值都为空才删除inplace : 如果为True则修改当前df，否则返回新的dffill...
Pandas中空字符串（非缺失值）处理方法
jiangjiane
12-16 5980
在使用pandas处理数据时，会遇到这样一个问题：打开文档查看某些列明显有很多是空的，但是在python里用dataframe.info统计出来并不是空的，这是因为excel表里这些数据看起来是空的值，但其实是一个空格，但是用isnull判断是为False的。 解决方案： 对整张表dataframe替换空格为np.nan,可以使用replace方法通过正则匹配空格，然后替换： ...
pandas 删除空值
weixin_46969441的博客
08-22 1万+
pandas 删除空值 目的： 将该含有过多空值的行/列删除 DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False) 参数解释： axis:维度，axis=0表示index行,axis=1表示columns列，默认为0 how:"all"表示这一行或列中的元素全部缺失（为nan）才删除这一行或列，"any"表示这一行或列中只要有元素缺失，就删除这一行或列 thresh： axis中至少有thresh个非缺失值
pandas 去空值
weixin_47464737的博客
11-10 5807
去任意有空值的行 df.dropna(axis=0, how='any', inplace=True) axis： 0: 行操作（默认） 1: 列操作 how： any: 只要有空值就删除（默认） all:全部为空值才删除 inplace： False: 返回新的数据集（默认） True: 在愿数据集上操作 检查空值 print(df.isnull()) # 是空值返回True，否则返回False print(np.any(df2.isnull())) # 只要有一个空值便会返回True，否则返回Fa
python解决pandas处理缺失值为空字符串的问题
09-20
例如，假设我们有一个包含空字符串的CSV文件，Pandas在读取文件时，不会将这些空字符串识别为缺失值，而会将其作为普通字符串处理。这就会导致我们在使用`dropna()`或`fillna()`时无法按预期清理这些“缺失”数据。 ...
pandas 缺失值与空值处理的实现方法
09-18
在Pandas中，缺失值通常表示为`NaN`（Not a Number），而空值可能表现为`""`（空字符串）或其他特殊标记。了解如何有效地处理这些值对于数据清洗和预处理至关重要。 1. **Pandas中处理缺失值的函数**： - **`df....
pandas中read_csv的缺失值处理方式
09-18
Pandas通过识别这些字符串并将其转化为浮点型的NaN值来处理缺失值。 在`read_csv`函数中，处理缺失值的方法主要有以下几种： 1. **默认行为**：Pandas有一组默认的缺失值标识符，包括但不限于`-1.#IND`, `1.#QNAN`...
缺失数据多重插补处理方法的算法实现.pdf
12-27
文章在简要介绍EM算法的基础上，对MCMC算法，特别是DA算法实现缺失数据补全做了深入探讨，介绍了DA算法迭代模拟过程，并对DA算法与EM算法进行了比较。
Python时间序列缺失值的处理方法（日期缺失填充）
09-18
在处理时间序列缺失值之前，我们通常需要将数据加载到`pandas`的DataFrame中，并确保日期列被正确解析为`datetime`类型。例如，可以使用`pd.to_datetime()`函数将日期字符串转换为日期对象。 接下来，文章中展示了...
Excel VS Python 第二期——缺失值处理
Yif18的博客
07-11 1289
知识点3：检查缺失值 import pandas as pd #载入pandas库 data = pd.read_excel('C:/Users/dell-pc/Desktop/data.xlsx') #读取Excel文件数据 data.head(5) #显示前5行数据 data.shape[0] #显示数据集的行数 data.isnull().sum() #查看各列数据的缺失情况 知识点4：删除缺失值 data.dropna(how = "any", inplace = True)
pandas 处理空值
u012875855的博客
11-30 6195
在使用pandas进行特征工程时，经常会出现空值问题，下面介绍一下pandas中的空值判断 新建一个文件：sample.csv,文件内容如下: a,b,c,d 1,,1,'1' 2,,2,'2' 3,,,'3' 4,,4, 下面通过pandas的read_csv函数 将文件内容加载到dataframe中，dataFrame的结构如下： In [3]: data.info() <c...
Python Pandas对空值的处理
weixin_48826751的博客
03-27 4611
（1）dropna() #删除所有值为空的行 s3.dropna(axis="index",how="all",inplace=False) #how字段可选有any和all,any表示只要有空值出现就删除，all表示全部为空值才删除；inplace字段表示是否替换掉原本的数据 #删除所有值为空的列 s3.dropna(axis="columns",how="all",inplace=False) （2）fillna() #将s3表中分数为空的赋值为0 s3.loc[:,"分数"] = s3["分数"
pandas to_excel产生空值的解决方案
热门推荐
weixin_43178406的博客
10-24 5万+
本文主要介绍了pandas to_excel产生空值的解决方案，希望能对学习pandas的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
如何处理Pandas中的空值?
wangyiniya的博客
12-23 3759
如何处理Pandas中的空值?今天番茄加速就来跟大家探讨一下。 只要和数据打交道，就不可能不面对一个令人头疼的问题-数据集中存在空值。空值处理，是数据预处理之数据清洗的重要内容之一。 Python 数据分析包 Pandas 提供了一些便利的函数，可以帮助我们快速按照设想处理、解决空值。 空值处理的第一招：快速确认数据集中是不是存在空值。有两个函数 isnull, notnull，可以帮助我们快速定位数据集中每个元素是否为空值。 说到空值，在 NumPy 中定义为： np.nan，Python 中定义为 No
python使用决策树，如何处理缺失值和字符串
06-07
在使用决策树进行分类或回归时，处理缺失值和字符串通常有以下几种方法： 1. 缺失值处理 - 删除缺失值：可以使用 `pandas` 库的 `dropna()` 函数删除缺失值，但这会导致数据集的样本量减少。 ```python import pandas as pd from sklearn.tree import DecisionTreeClassifier # 加载数据集 data = pd.read_csv('data.csv') # 删除缺失值 data.dropna(inplace=True) # 分离特征和标签 X = data.drop('label', axis=1) y = data['label'] # 训练模型 clf = DecisionTreeClassifier() clf.fit(X, y) ``` - 填充缺失值：可以使用 `pandas` 库的 `fillna()` 函数或 `sklearn` 库的 `SimpleImputer` 类填充缺失值。其中，`fillna()` 函数可以使用指定的值或者均值、中位数等填充缺失值；`SimpleImputer` 类可以使用均值、中位数、众数等填充缺失值。 ```python import pandas as pd from sklearn.tree import DecisionTreeClassifier from sklearn.impute import SimpleImputer # 加载数据集 data = pd.read_csv('data.csv') # 填充缺失值 # 使用指定的值填充 # data.fillna(value=0, inplace=True) # 使用均值填充 # imp = SimpleImputer(strategy='mean') # data = imp.fit_transform(data) # 分离特征和标签 X = data.drop('label', axis=1) y = data['label'] # 训练模型 clf = DecisionTreeClassifier() clf.fit(X, y) ``` 2. 字符串处理 对于字符串类型的特征，可以使用 One-Hot 编码或者标签编码将其转换为数值型特征。 - One-Hot 编码：使用 `pandas` 库的 `get_dummies()` 函数将字符串类型的特征转换为数值型特征。 ```python import pandas as pd from sklearn.tree import DecisionTreeClassifier # 加载数据集 data = pd.read_csv('data.csv') # One-Hot 编码 data_encoded = pd.get_dummies(data) # 分离特征和标签 X = data_encoded.drop('label', axis=1) y = data_encoded['label'] # 训练模型 clf = DecisionTreeClassifier() clf.fit(X, y) ``` - 标签编码：使用 `sklearn` 库的 `LabelEncoder` 类将字符串类型的特征转换为数值型特征。 ```python import pandas as pd from sklearn.tree import DecisionTreeClassifier from sklearn.preprocessing import LabelEncoder # 加载数据集 data = pd.read_csv('data.csv') # 标签编码 le = LabelEncoder() data['string_feature'] = le.fit_transform(data['string_feature']) # 分离特征和标签 X = data.drop('label', axis=1) y = data['label'] # 训练模型 clf = DecisionTreeClassifier() clf.fit(X, y) ``` 需要注意的是，对于标签编码，要确保字符串类型的特征是有序的，否则可能会影响模型的性能。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值