python 处理缺失值

最新推荐文章于 2024-03-30 14:56:35 发布
最新推荐文章于 2024-03-30 14:56:35 发布
阅读量1.9k 收藏 6
点赞数 1
分类专栏： Python-daily
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/heheeh123/article/details/105061225
版权

数据缺失主要包括记录缺失和字段信息缺失等情况，其对数据分析会有较大影响，导致结果不确定性更加显著

 缺失值的处理：删除记录 / 数据插补 / 不处理

 1.判断是否有缺失数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats
% matplotlib inline
s = pd.Series([12,33,45,23,np.nan,np.nan,66,54,np.nan,99])
df = pd.DataFrame({'value1':[12,33,45,23,np.nan,np.nan,66,54,np.nan,99,190],
                  'value2':['a','b','c','d','e',np.nan,np.nan,'f','g',np.nan,'g']})
df
# 创建数据

判断是否有缺失值数据 - isnull，notnull
 isnull：缺失值为True，非缺失值为False
 notnull：缺失值为False，非缺失值为True

s.isnull()   df.notnull()适用于Series和DataFrame；
s[s.isnull() == False] #把不是缺失值的给找出来，只针对Series ； 
print(s.isnull()) #布尔型的一个结果,只要有一个是NaN就是True； Series直接判断是否是缺失值，返回一个Series 
print(df.notnull())#判断不是缺失值的有哪些,可以加索引判断如print(df['value1'].notnull()) ；直接判断是否是缺失值，返回一个Series

复制代码

0    False
1    False
2    False
3    False
4     True
5     True
6    False
7    False
8     True
9    False
dtype: bool

   value1 value2
0    True   True
1    True   True
2    True   True
3    True   True
4   False   True
5   False  False
6    True  False
7    True   True
8   False   True
9    True  False
10   True   True

复制代码

print(s[s.isnull() == False]) #把不是缺失值的给找出来。 <<<===>>> s[s.notnull()] 布尔型的索引 
print(df[df['value2'].notnull()])  # 注意和 df2 = df[df['value2'].notnull()] ['value1'] 的区别
##筛选非缺失值

 

 2. 删除缺失值 - dropna

.dropna(inplace = True)

复制代码

# 删除缺失值 - dropna

s = pd.Series([12,33,45,23,np.nan,np.nan,66,54,np.nan,99])
df = pd.DataFrame({'value1':[12,33,45,23,np.nan,np.nan,66,54,np.nan,99,190],
                  'value2':['a','b','c','d','e',np.nan,np.nan,'f','g',np.nan,'g']})
# 创建数据
s.dropna(inplace = True)
s

复制代码

df.dropna(inplace = True)
df

3.填充/替换缺失值

s.fillna(0,inplace = True) 缺失值用0来填充；
df['value1'].fillna(method = 'pad',inplace = True) 缺失值的用pad/ffill之前前一个数据填充；
s.replace(np.nan,'缺失数据',inplace = True) 把np.nan的数据用 ‘缺失数据’来代替；
s.replace([1,2,3],np.nan,inplace = True) 也可以替换多值。

复制代码

# 填充/替换缺失数据 - fillna、replace 

s = pd.Series([12,33,45,23,np.nan,np.nan,66,54,np.nan,99])
df = pd.DataFrame({'value1':[12,33,45,23,np.nan,np.nan,66,54,np.nan,99,190],
                  'value2':['a','b','c','d','e',np.nan,np.nan,'f','g',np.nan,'g']})
# 创建数据
s.fillna(0,inplace = True)
print(s)
print('------')
# s.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)
# value：填充值 
# 注意inplace参数

复制代码

df['value1'].fillna(method = 'pad',inplace = True)
print(df)
print('------')
# method参数：
# pad / ffill → 用之前的数据填充 
# backfill / bfill → 用之后的数据填充

复制代码

s = pd.Series([1,1,1,1,2,2,2,3,4,5,np.nan,np.nan,66,54,np.nan,99])
s.replace(np.nan,'缺失数据',inplace = True)
print(s)
print('------')
# df.replace(to_replace=None, value=None, inplace=False, limit=None, regex=False, method='pad', axis=None)
# to_replace → 被替换的值 
# value → 替换值 

s.replace([1,2,3],np.nan,inplace = True)
print(s)
# 多值用np.nan代替

复制代码

 

 4.缺失值插补

（1）均值/中位数/众数补插 

s.fillna(u,inplace = True) u为均值；

复制代码

# 缺失值插补
# 几种思路：均值/中位数/众数插补、临近值插补、插值法
# （1）均值/中位数/众数插补

s = pd.Series([1,2,3,np.nan,3,4,5,5,5,5,np.nan,np.nan,6,6,7,12,2,np.nan,3,4])
#print(s)
print('------')
# 创建数据

u = s.mean()     # 均值
me = s.median()  # 中位数
mod = s.mode()   # 众数
print('均值为：%.2f, 中位数为：%.2f' % (u,me))
print('众数为：', mod.tolist())
print('------')
# 分别求出均值/中位数/众数

s.fillna(u,inplace = True)
print(s)
# 用均值填补

复制代码

 

 （2）临近值插补

s.fillna(method = 'ffill',inplace = True) ffill用前值插入； bfill用后值插补；

复制代码

# 缺失值插补
# 几种思路：均值/中位数/众数插补、临近值插补、插值法
# （2）临近值插补

s = pd.Series([1,2,3,np.nan,3,4,5,5,5,5,np.nan,np.nan,6,6,7,12,2,np.nan,3,4])
#print(s)
print('------')
# 创建数据

s.fillna(method = 'ffill',inplace = True)
print(s)
# 用前值插补

复制代码

 

 （3）插值法---拉格朗日插值法

lagrange(x, y)  --->>  y = a0 * x**2 + a1 * x + a2 →  y = -0.11111111 * x**2 + 0.33333333 * x + 10

复制代码

# 缺失值插补
# 几种思路：均值/中位数/众数插补、临近值插补、插值法
# （3）插值法 —— 拉格朗日插值法
from scipy.interpolate import lagrange
x = [3, 6, 9]
y = [10, 8, 4]
plt.scatter(x, y)
print(lagrange(x, y)) #直接输出多项式的方程
# 的输出值为的是多项式的n个系数
# 这里输出3个值，分别为a0,a1,a2
# y = a0 * x**2 + a1 * x + a2 → y = -0.11111111 * x**2 + 0.33333333 * x + 10

print('插值10为：%.2f' % lagrange(x,y)(10))
print('------')
# -0.11111111*100 + 0.33333333*10 + 10 = -11.11111111 + 3.33333333 +10 = 2.22222222

复制代码

 

 用少数身边的临近值去推测这个值的本身，

 

df = pd.DataFrame({'x':np.arange(15)}) #创建一个数组
df['y'] = lagrange(x, y)(df['x']) #加一个y的标签
df

plt.plot(df['x'], df['y'], linestyle = '--', color = 'k')

 

data_na = data[data.isnull()]  缺失值数量；
print('缺失值数据量:%i' % len(data_na))

复制代码

# 缺失值插补
# 几种思路：均值/中位数/众数插补、临近值插补、插值法
# （3）插值法 —— 拉格朗日插值法，实际运用

data = pd.Series(np.random.rand(100)*100)
data[3,6,33,56,45,66,67,80,90] = np.nan
print(data.head())
print('总数据量:%i' % len(data))
print('------')
# 创建数据

data_na = data[data.isnull()]
print('缺失值数据量:%i' % len(data_na))
print('缺失数据占比:%.2f%%' % (len(data_na) / len(data) * 100))
# 缺失值的数量

data_c = data.fillna(data.median())  #  中位数填充缺失值
fig,axes = plt.subplots(1,4,figsize = (20,5))
data.plot.box(ax = axes[0],grid = True,title = '数据分布')  #直接生成图，做一个密度图会直接排除缺失值。
data.plot(kind = 'kde',style = '--r',ax = axes[1],grid = True,title ='删除缺失值',xlim = [-50,150])
data_c.plot(kind = 'kde',style = '--b',ax = axes[2],grid = True,title ='缺失值填充中位数',xlim = [-50,150])
# 密度图查看缺失值情况

复制代码

复制代码

def na_c(s,n,k=5): #5为位置
    y = s[list(range(n-k,n+1+k))] # 取数
    y = y[y.notnull()]  # 剔除空值，把缺失值去掉，非缺失值筛选出来
    return(lagrange(y.index,list(y))(n))
# 创建函数，做插值，由于数据量原因，以空值前后5个数据（共10个数据）为例做插值

na_re = []
for i in range(len(data)):
    if data.isnull()[i]: #判断data里边的缺失值
        data[i] = na_c(data,i)
        print(na_c(data,i))
        na_re.append(data[i])
data.dropna(inplace=True)  # 清除插值后仍存在的缺失值
data.plot(kind = 'kde',style = '--k',ax = axes[3],grid = True,title = '拉格朗日插值后',xlim = [-50,150])
print('finished!')
# 缺失值插值

复制代码

chairmannmg001
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
geotiffinterp:地理参考 TIFF 栅格数据的快速插值。-matlab开发
05-30
在 Matlab 中从 GeoTIFF DEM 中获取数据并不简单。 您可能有一个带地理参考的 .tif 磁异常数据集，并且您想沿着您手持 GPS 行走的某些路径提取这些异常。 使用 lat,lon 数组描述您的路径，此功能允许您简单地键入geotiffinterp('mag.tif',lat,lon) 获取您要的数据。 此函数内插地理参考 tiff 文件的值，给定纬度/经度坐标或地图 x/y 位置对应于与 tiff 文件关联的地图投影。 此功能很快，因为即使 GeoTIFF 文件非常大，也只加载了足以执行插值的图像区域。 此功能旨在轻松探测 GeoTIFF 数据集，例如数字高程图 (DEM) 或其他地理空间数据阵列。 它可用于从地理参考卫星图像中插入值，但如果您正在处理图像，则 geotiffreadregion 等其他函数可能更有用。 句法Ai = geotiffinterp（
缺值为nan，做一维插值
qq_43349542的博客
05-31 435
链接: NAN处做插值. 只需使用 numpy logical 和 where 语句来应用一维插值。 import numpy as np from scipy import interpolate def fill_nan(A): ‘’’ interpolate to fill nan values ‘’’ inds = np.arange(A.shape[0]) good = np.where(np.isfinite(A)) f = interpolate.interp1d(inds[good], A[
python 温度插值nan处理_python-在DataFrame上将NaN值插值为环
weixin_33218578的博客
12-23 701
我需要在一个Dataframe上插入NaN值,但我希望该插值能获得DataFrame的第一个值,以防NaN值是最后一个值.这是一个例子：import pandas as pdimport numpy as npdf = pd.DataFrame.from_dict({"a": [1,2,3], "b":[1,2,np.nan]})因此,DataFrame是：a b0 1 1.01 2 ...
【python数据分析-数据预处理】如何使用python处理缺失值
最新发布
m0_59236602的博客
03-30 1005
在数据处理中，第一步是对数据做清洗，主要是。具体的清洗方法指对异常数据进行等操作。
python之tiff
JesJiang的博客
11-24 979
1、安装libtiff conda安装的没生效 libtiff 4.1.0 h56a325e_0 defaults 下载whl https://www.lfd.uci.edu/~gohlke/pythonlibs/#pylibtiff pip install pylibtiff-0.4.2-cp37-cp37m-win_amd64.whl pylibtiff 0.4.2
Pandas 数据处理（一）缺失值处理
Ricardo的博客
12-13 1056
Pandas 数据处理（一）缺失值处理 缺失值处理 缺失值详细位置 data.isnull() 有缺失值的特征列 data.isnull().any() 提取出有缺失值的行 data[data.isnull().values==True] 缺失值删除 data.dropna(how='any',axis=0,inplace=True) how : {‘any’, ‘all’}，‘an...
Python--统计学检验
数据科学知识库
07-27 1078
1.导入相关库 import numpy as np import pandas as pd import matplotlib.pyplot as plt from scipy import stats from scipy.stats import normaltest,kstest,shapiro,anderson,levene, bartlett,f_oneway from scipy.stats import ttest_1samp,ttest_ind,ttest_rel,mannwhitne
sklearn中的常见缺失值处理
leaf_of_maple的博客
07-06 1721
pandas中dropna（） data1.dropna(inplace=True,axis=0) inplace 表示是否覆盖原数据 True：直接修改原对象 False：创建一个副本，修改副本，原对象不变（缺省默认） axis=0 表示对列进行操作；1表示对行 how ‘any’指带缺失值的所有行;'all’指清除全是缺失值的 thresh df.dropna(thresh=2) 表示保留至少有2个非NaN数据所在的行 pandas中fillna() df["Age"].fil
Pandas 缺失值,重复值,异常值 基础知识
zzyzzye的博客
05-07 1340
将 DataFrame 或 Series 中的缺失值用指定的值或方法进行填充，返回一个新的 DataFrame 或 Series。，表示只要列中有一个缺失值，就删除这一列；当取值为 all，表示只有当这一列的所有值都是缺失值时，才删除这一列；观察最小值和最大值是否超出正常范围，例如数据不可能为负数但最小值为负数，则可认为该特征存在异常值。观察平均值和中位数的差异，若两者差距较大，说明该特征可能存在较多的离群值和异常值。观察第一和第三四分位数的差异，若差距较大，说明该特征的分布有可能存在异常和离群值。
python 缺失值处理的方法（Imputation）
09-19
主要介绍了python 缺失值处理的方法（Imputation），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Python时间序列缺失值的处理方法（日期缺失填充）
09-18
主要给大家介绍了关于Python时间序列缺失值（日期缺失填充）的处理方法，文中通过示例代码介绍的非常详细，对大家学习或者使用Python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
python实现数据缺失处理
12-22
数据缺失处理python函数 数据缺失判断函数isnull() data.isnull() （1）数据过滤（dropna） 数据过滤是将数据直接过滤掉 dropna(axis=0, how='any', ...subset 对特定的列进行缺失值删除处理 inplace 这个很常见
Python Pandas对缺失值的处理方法
09-18
主要给大家介绍了关于Python Pandas对缺失值的处理方法，文中通过示例代码介绍的非常详细，对大家学习或者使用Python Pandas具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
python预处理tif格式图片
Ray
06-21 8478
RGB彩色图像大家都不陌生，但是什么是真彩色、什么是加彩色呢？[竞赛群里看到别人说真彩色、假彩色，当时完全不懂，碰巧撞上了，记一下] R原色对应TM4波段、G原色对应TM3波段、B原色对应TM2波段，合成得到标准假彩色影像。 R原色对应TM3波段、G原色对应TM2波段、B原色对应TM1波段，合成得到真彩色影像。 R原色对应TM7波段、G原色对应TM5波段、B原色对应TM2波段，合成得到其它假彩色...
Python—图像中无效值像元最临近填充
shanyanyi7173的博客
04-01 1404
import gdal import numpy as np from scipy import ndimage as nd file = r"D:\微信公众号\数据填补\处理前.tif" outfile = r"D:\微信公众号\数据填补\处理后.tif" ds = gdal.Open(file) cols = ds.RasterXSize rows = ds.RasterYSize geo = ds.GetGeoTransform() proj = ds.GetProjection() band = .
python缺失值类型与分析_Python数据分析实战：缺失值处理
weixin_34766547的博客
02-04 656
写在前面上周我们读取完了数据(Python数据分析实战：获取数据)，下面就要对数据进行清洗了，首先是对缺失值的处理。缺失值也就是空值，先找出来再处理。查看缺失值可以使用isnull方法来查看空值，得到的结果是布尔值。#查看缺失值df_list.isnull()结果：对于小的数据集来说，可以这样看，但对于大的数据集这样查看空值貌似没什么意义，没关系，还有其他方法，可以使用info方法#查看空值d...
python-数据分析（6-numpy）
zaibiketaide的专栏
09-01 598
Numpy 6 Numpy 6.1 Numpy介绍与安装 Numpy是什么？ Numpy(Numerical Python)是目前Python数值计算中最为重要的基础包。大多数计算包都提供了基于Numpy的科学函数功能，将Numpy的数组对象作为数据交换的通用语。 Numpy特点 提供高效多维数组 提供了基于数组的便捷算术操作以及广播机制 对数据进行快速的矩阵计算 对硬盘中数组数据进行读写操作 Numpy安装 直接在dos命令行中pip install numpy 即可。 6.2 Numpy基本操作
series 通过值返回index_数据分析实战-- 缺失值处理
weixin_39791225的博客
11-22 415
数据缺失主要包括记录缺失和字段信息缺失等情况，其对数据分析会有较大影响，导致结果不确定性更加显著。缺失值的处理：删除记录 / 数据插补 / 不处理模块导入import numpy as np import pandas as pd import matplotlib.pyplot as plt from scipy import stats0 创建数据s = pd.Series([12,33,45...
Python处理数据中的空值（缺失值）时用到的dropna()函数和fillna()函数总结，通过示例弄懂这两个函数的用法。
热门推荐
BaoITcore的博客
03-30 2万+
在用python处理数据时，我们通常会遇到数据不完整的情况，比如有空值的时候，我们想要删除控制所在的行或列，或者是我们给空值设置为某一个值。这时候就可以用dropna和fillna两个函数来实现空值的处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值