20【numpy中的nan和常用方法】02numpy中填充nan

最新推荐文章于 2024-08-18 19:54:03 发布
最新推荐文章于 2024-08-18 19:54:03 发布
阅读量6.1k 收藏 5
点赞数 2
分类专栏： 数据分析2 文章标签： python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuhui_2000/article/details/110548592
版权
本文介绍了如何在numpy数组中处理缺失值（nan），通过替换为每列的均值，并提供了一个自定义函数。文章还探讨了数组遍历、检查缺失值的方法。此外，通过两个例题，分别展示了如何绘制评论数量的直方图和分析评论数与喜欢数的关系，强调了数据可视化的重要性和处理方法。
摘要由CSDN通过智能技术生成

ndarray中nan的替换（均值）

ndarray中存在nan，如何操作才能够将nan替换为每一列的均值？

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

# 判断这一列中是否有nan数据
for i in range(arr.shape[1]):  # 对列进行遍历
    current_col=arr[:,i]  # 当前的这一列
    # 判断当前的这一列中是否有nan数据  如果有  有几个
    nan_num=np.count_nonzero(current_col!=current_col)  # 这一列中nan数据的个数
    
    if nan_num!=0:  # 说明这一列数据中有nan数据
        not_nan_array=current_col[current_col==current_col]  # 取出这一列中不为nan的数据  返回的是一个数组
        # 求出这一列中不为nan的数据构成的数组的均值  arr.mean()
        # 用这一列的均值来替换这一列的nan数据
        # 取出这一列的nan数据
        # current_col[current_col!=current_col]
        # current_col[np.isnan(current_col)]
        # np.isnan(arr)  将数组中的nan数据标记为True  否则标记为False
        current_col[np.isnan(current_col)]=not_nan_array.mean()  # 赋值

在这里插入图片描述
由于 使用这一列的均值来填充这一列的缺失值数据 是一种很常用的方法，所以我们可以将这个方法定义为一个函数，以后需要使用的时候直接调用这个函数就可以了

在这里插入图片描述
简单看一下效果怎么样

先创造一个含有缺失值的数组对象

在这里插入图片描述
然后再调用这个函数

在这里插入图片描述
结果是正确的，我们可以看见，最后返回的数组对象中，它的缺失值部分的确是用这一列的均值来代替了。

这是完整的代码

# -*- coding: utf-8 -*-

'''
@Time    : 2020/12/05 19:49
@Author  : yuhui
@Email   : 3476237164@qq.com
@FileName: numpy_2.py
@Software: PyCharm
'''

"""19【numpy中的nan和常用方法】01numpy中的nan和常用统计方法"""

import numpy as np

def fill_array_nan(arr):
    """
    :param arr: 含有nan缺失值的数组对象
    :return: 用这一列的平均值来替换这一列的缺失值
    """
    # 对这个数组进行列遍历
    for i in range(arr.shape[1]):
        current_col=arr[:,i]  # 取出当前正在被遍历的一列
        # 检查当前的这一列中是否存在nan缺失值  如果有  有几个
        nan_array = current_col[current_col != current_col]  # 这一列中缺失值的数组
        if nan_array is not None:  # 数组不为空  说明存在缺失值
            not_nan_array = current_col[current_col == current_col]  # 这一列中不为nan的数据
            # 用正常值的均值来替换这一列的缺失值数据
            # current_col[current_col!=current_col]=not_nan_array.mean()
            # 下面这种也可以  相当于是current_col[current_col!=current_col]
            current_col[np.isnan(current_col)] = not_nan_array.mean()

    return arr  # 返回替换之后的数组对象

if __name__ == '__main__':
    arr = np.arange(20).reshape(4, 5).astype("float32")
    arr[2:,:] = np.nan
    print(arr)
    print("*"*50)
    print(fill_array_nan(arr))

小的知识点

1.如何对数组进行行遍历

在这里插入图片描述

2.如何对数组进行列遍历

在这里插入图片描述

3.检查数组中是否存在缺失值数据 如果有 有几个

1.判断缺失值的数量是否为0

缺失值的数量：

  • np.count_nonzero(np.isnan(arr))
  • np.count_nonzero(arr!=arr)
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
2.判断缺失值的数组对象是否为空

缺失值的数组对象

  • arr[np.isnan(arr)]
  • arr[arr!=arr]

在这里插入图片描述
在这里插入图片描述
这个时候，我们又得到了两种取数组中缺失值数量的方法：

  • len(arr[np.isnan(arr)])
  • len(arr[arr!=arr])

在这里插入图片描述

小结

  • 如何选择一行或者多行的数据（列）？
  • 如何给选取的行或者列赋值？
  • 如何大于把大于10的值替换为10？
  • np.where如何使用？
  • np.clip如何使用？
  • 如何转置（交换轴）？
  • 读取和保存数据为csv？
  • np.nan和np.inf是什么？
  • 常用的统计函数你记得几个？
  • 标准差反映出数据的什么信息？

动手

现在这里有一个英国和美国各自youtube1000多个视频的【点击】【喜欢】【不喜欢】【评论数量】（[“views”,“likes”,“dislikes”,“comment_total”]）的Excel文件，运用所学习的知识，完成下面的两个练习。

数据来源：https://www.kaggle.com/datasnaek/youtube/data

例题1

利用已经学习过的知识和英国、美国各自youtube1000的数据绘制出各自的评论数量的直方图。

原始数据

美国youtube1000的数据

在这里插入图片描述

代码+分析+结果
# -*- coding: utf-8 -*-

'''
@Time    : 2020/12/08 16:24
@Author  : yuhui
@Email   : 3476237164@qq.com
@FileName: numpy_3.py
@Software: PyCharm
'''

"""20【numpy中的nan和常用方法】numpy中填充nan"""

import numpy as np
import matplotlib.pyplot as plt

# 解决中文乱码
plt.rcParams["font.sans-serif"]=["KaiTi"]
plt.rcParams["font.family"]="sans-serif"
# 解决符号无法显示的问题
plt.rcParams['axes.unicode_minus'] = False # 解决保存图像时负号'-'显示为方块的问题

"""设置图形大小和图片品质"""
fig=plt.figure(
    figsize=(16,9),
    dpi=100,
)

us_file_path=r"D:\Python\数据分析\数据分析2\data\us.csv"

us=np.loadtxt(us_file_path,  # 文件路径
              dtype="int32",  # 数据类型
              delimiter=",",  # 分隔符
              skiprows=1  # 跳过开头的几行
              )

us_comments=us  # us的评论数量  所有的行  第0列

"""绘制直方图"""

# 打印出最大值和最小值  根据最大值和最小值确定出组距，进而确定组数
# print(us_comments.max(),us_comments.min())  # 4996 117

# 组距
group_spacing=250

# 组数
num_bins=(us_comments.max()-us_comments.min())//group_spacing

# 绘制直方图

plt.hist(us_comments,num_bins,
         color="#6495ED",  # 颜色
         )

"""设置x轴刻度"""
plt.xticks(range(min(us_comments),max(us_comments)+group_spacing,group_spacing))

"""绘制网格线"""
plt.grid(
    linestyle=":",  # 线型
    color="#6495ED",  # 颜色  CornflowerBlue	矢车菊的蓝色	#6495ED	100,149,237
    alpha=0.4,  # 透明度
)

plt.show()

在这里插入图片描述
在这里插入图片描述

显然，这次的结果是不够好的，有许多地方都需要改进一下。

在这里插入图片描述
那么，我们应该如何处理我们的组距和组数呢？

要想直方图的外部轮廓线和背景网格线对齐，最好是
在这里插入图片描述
修改一下组距

# 打印出最大值和最小值  根据最大值和最小值确定出组距，进而确定组数
# print(us_comments.max(),us_comments.min())  # 4996 117

# 组距
group_spacing=17*41
# 4996-117=4879=7*17*41
# 组数
num_bins=(us_comments.max()-us_comments.min())//group_spacing  # =7*17*41/(17*41)=7  # 整数

在这里插入图片描述
结果如下

在这里插入图片描述
在这里插入图片描述

在以后我们使用Python进行绘图时，图形的美观只是一方面，我们最根本的目的其实还是希望能够从图形中获得数据的规律，总结这些规律并且能够让我们使用。所以判断一个图形的优劣的第一标准应该是这个图形是否能够展现数据的规律，这才是最重要的，其余的都是其次重要的。不过如果说你能够在满足第一要求的情况下，还能够将这个图形做得尽可能的美观，那你的这次绘图工作可以说就是相当的成功了。

这是全部的代码

# -*- coding: utf-8 -*-

'''
@Time    : 2020/12/08 16:24
@Author  : yuhui
@Email   : 3476237164@qq.com
@FileName: numpy_3.py
@Software: PyCharm
'''

"""20【numpy中的nan和常用方法】numpy中填充nan"""

import numpy as np
import matplotlib.pyplot as plt

# 解决中文乱码
plt.rcParams["font.sans-serif"]=["KaiTi"]
plt.rcParams["font.family"]="sans-serif"
# 解决符号无法显示的问题
plt.rcParams['axes.unicode_minus'] = False # 解决保存图像时负号'-'显示为方块的问题

"""设置图形大小和图片品质"""
fig=plt.figure(
    figsize=(16,9),
    dpi=100,
)

us_file_path=r"D:\Python\数据分析\数据分析2\data\us.csv"

us=np.loadtxt(us_file_path,  # 文件路径
              dtype="int32",  # 数据类型
              delimiter=",",  # 分隔符
              skiprows=1  # 跳过开头的几行
              )

us_comments=us  # us的评论数量  所有的行  第0列

"""绘制直方图"""

# 打印出最大值和最小值  根据最大值和最小值确定出组距，进而确定组数
# print(us_comments.max(),us_comments.min())  # 4996 117

# 组距
group_spacing=17*41
# 4996-117=4879=7*17*41
# 组数
num_bins=(us_comments.max()-us_comments.min())//group_spacing  # =7*17*41/(17*41)=7  # 整数

# 绘制直方图
plt.hist(us_comments,num_bins,
         color="#6495ED",  # 颜色
         )

"""设置x轴刻度"""
plt.xticks(range(min(us_comments),max(us_comments)+group_spacing,group_spacing))

"""绘制网格线"""
plt.grid(
    linestyle=":",  # 线型
    color="#6495ED",  # 颜色  CornflowerBlue	矢车菊的蓝色	#6495ED	100,149,237
    alpha=0.4,  # 透明度
)

plt.show()

例题2

希望了解英国的youtube1000的数据中视频的评论数和喜欢数的关系，应该如何绘制图形？

原始数据

英国youtube1000的数据

在这里插入图片描述

代码+分析+结果

根据题目要求，为了表现出两者（comment_total和likes）之间的关系，我们应该绘制散点图，其中横轴数据为comment_total，纵轴数据为likes。

# -*- coding: utf-8 -*-

'''
@Time    : 2020/12/08 16:36
@Author  : yuhui
@Email   : 3476237164@qq.com
@FileName: numpy_4.py
@Software: PyCharm
'''

"""20【numpy中的nan和常用方法】numpy中填充nan"""

import numpy as np
import matplotlib.pyplot as plt

# 解决中文乱码
plt.rcParams["font.sans-serif"]=["KaiTi"]
plt.rcParams["font.family"]="sans-serif"
# 解决符号无法显示的问题
plt.rcParams['axes.unicode_minus'] = False # 解决保存图像时负号'-'显示为方块的问题

"""设置图形大小和图片品质"""
fig=plt.figure(
    figsize=(16,9),
    dpi=100,
)

uk_file_path=r"D:\Python\数据分析\数据分析2\data\uk.csv"

uk=np.loadtxt(uk_file_path,
              dtype="int32",
              delimiter=",",
              skiprows=1,  # 跳过第一行
              )

comments=uk[:,1]  # 横轴数据  第二列
likes=uk[:,0]  # 纵轴数据  第一列

"""绘制散点图"""
plt.scatter(comments,likes)

plt.show()

结果如下

在这里插入图片描述
在这里插入图片描述

为什么这个散点图的规律会这么明显呢？

因为这数据是我自己做的：先通过随机数生成数据，然后对和数据进行升序排列，最后在写代码运行的时候就出现了这样的效果。

其实数据并不重要，重要的是我们处理数据的方法，掌握了方法之后，以后在面对这样的例题时我们就知道应该如何处理对应的数据了。

yuhui_2000
关注
专栏目录
numpyNaN
m0_60541499的博客
03-05 723
在一组数据中单纯的把nan替换为0并不合适。全部替换为0后，替换之前的平均值如果大于0，替换之后的均值肯定会变小，所以更一般的方式是把缺失的数值替换为均值（中值）或者是直接删除有缺失值的一行。(-inf,inf):infinity,inf表示正无穷，-inf表示负无穷。(NAN,Nan):not a number表示不是一个数字。什么时候回出现inf包括（-inf，+inf）假如在数据中遇到了nan该如何处理呢？
07【matplotlib】05matplotlib设置图的信息
yuhui_2000的博客
11-28 253
给图像添加描述信息 添加之后的效果图 代码实现+分析+运行结果 """给图像添加描述信息""" plt.xlabel("时间/min") # 设置x轴的描述信息 plt.ylabel("温度/℃") # 设置y轴的描述信息 plt.title("10点到12点每分钟的气温变化情况") # 图的标题 例题再做 题目 那么问题来了: 如果列表a表示10点到12点的每一分钟的气温,如何绘制折线图观察每分钟气温的变化情况? a= [random.randint(20,35) for i in ra
python学习笔记(numpy中nan的常用方法)
最新发布
suifengbuyoufeng的博客
08-18 291
什么时候numpy会出现nan:读取本地文件为float时，若有缺失，就会出现nan，或者当做了一个不合适的计算的时候(比如无穷大(inf)减去无穷大)什么时候出现inf包括（-inf,+inf):比如一个数字除以0，（python中会直接报错，numpy中是一个inf或者-inf)犹豫替换会影响均值，故一般的方式是把缺失的数值替换成均值（中值）或者是直接删除有缺失值的一行。四、numpy中的填充nan和youtube数据的练习。三、numpy中的nan和常用统计方法。1、numpy中的nan和inf。
填充二维NumPy数组中的NaN值
HITzwx的博客
02-13 506
NaN值是浮点数的特殊值，表示不是一个数字（Not a Number）。如果有NaN值，计算该列中非NaN值的平均值。，并将其中一部分元素设置为NaN。函数来填充NaN值，并打印出填充后的数组。，该函数的目的是填充二维NumPy数组。对于每一列，检查是否有NaN值。将NaN值替换为计算出的平均值。块中创建了一个4x6的浮点数数组。这段代码首先定义了一个函数。这段代码定义了一个函数。
python数据分析（四）——numpy中的nan和数据的填充
Vapus的博客
08-05 5534
python数据分析（四）——numpy中的nan和数据的填充
numpy：将数组中nan填充为均值
zhangqiqiyihao的博客
10-13 2519
import numpy as np #将数组中的所有nan替换为该列的平均值，（一般是替换列的因为一列都为一个属性） def full_Ndarray(t1): # 遍历每一列 for i in range(t1.shape[1]): # t1.shape[1]返回的是列的长度，在这个数组中返回是3 temp_col = t1[:, i] # i=1时，就是将第一列构成的数组给了temp_col nan_num = np.count_nonzero(t
Python中的numpy.nan的意思
weixin_73839695的博客
06-04 796
numpy.nan是一种特殊的浮点数，可以把它看作是一种数据病毒，任何数与之进行运算都会被同化为nan。(np.inf表示正无穷，浮点类型）print(0.3 == 3 * 0.1) # 计算机中的0.1是。
numpy 对矩阵中Nan的处理:采用平均值的方法
12-23
在本文中，我们将深入探讨如何使用 `numpy` 中的平均值方法来填充矩阵中的 `NaN` 值。 首先，我们要明白 `NaN` 是一种特殊的浮点数，表示数值未知或不可定义。在数学计算中，直接将 `NaN` 替换为 0 可能会导致错误...
numpy除去nan值_pandas numpy处理缺失值，none与nan比较
weixin_39658966的博客
12-22 1111
原文链接：https://junjiecai.github.io/posts/2016/Oct/20/none_vs_nan/建议从这里下载这篇文章对应的.ipynb文件和相关资源。这样你就能在Jupyter中边阅读，边测试文中的代码。python原生的None和pandas, numpy中的numpy.NaN尽管在功能上都是用来标示空缺数据。但它们的行为在很多场景下确有一些相当大的差异。由于不熟...
Torch 和 Numpy 出现NAN解决方法
Forrest97的博客
01-24 6585
在训练过程中，在确保数据没有异常的情况。由于自定义loss中出现了除数为0或对数为0的情况，导致无法计算得到数字就会得到NAN，然后loss.backward()就会导致整个网络的权重数值都变成NAN。直接导致网络无法计算。 所以在网络训练过程中需要对NAN进行检测和处理。 NAN检测 如果只是一个简单的标量，直接使用isnan进行判据 torch.isnan(loss) 如果只是一个相对复杂的矢量，则需要使用结合.int().sum()对nan进行计数，判据大于0 torch.isnan(loss).i
numpy如何填充nan
06-12
以下是使用NumPy填充NaN的一些常见方式： 1. `numpy.nan`：直接使用NumPy提供的`nan`常量进行填充。 ```python import numpy as np arr = np.array([1, 2, np.nan, 4]) arr_filled = np.nan_to_num(arr) ``` ...
numpy中的nan(判断一个元素等于nan, 及nan安全函数 )
热门推荐
码码的哈士奇
07-15 4万+
Nunpy中的NaN import numpy as np np.nan nan np.NaN nan np.NAN nan 多种方式创建nan(空值) 判断是否存在空值 x = np.array([1, 1, 8, np.nan, 10]) np.nan in x False np.isin(np.nan, x) array(False) 1 in x True np...
numpy处理nan
qq_44099721的博客
01-20 1037
import numpy as np np.random.seed(10) # a = np.random.randint(10, 20, (4, 5)) # a = a.astype(float) # a[:, 1] = 0 # a[2, 2] = np.nan # # 判断非0 的个数： # print(np.count_nonzero(a)) # # 判断nana的个数： # print(...
【Python常用函数】一文让你彻底掌握Python中的numpy.nan函数
阿黎逸阳的博客
10-04 388
一文让你彻底掌握Python中的numpy.nan函数
关于numpy的nan值处理
qq_44971458的博客
09-18 1万+
numpy的nan值处理没有一个可以直接调用的方法，我们可以自己编写相应的函数，通过调用函数把nan值填充为均值、中位数、众数等等 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择......
NumPy中的nan和常用方法
weixin_42067873的博客
11-07 6431
一、数组的拼接 对两组数据进行联合分析时，需要使用到数组拼接 二、交换数组的行列 竖直拼接的时候：每一列的意义必须相同。 如果每一列的意义不同，这个时候就应该交换某一组的列，让其和另外一类相同，交换时也是使用索引进行操作 方法介绍： np.zeros((行数，列数)) 创建一个全0的数组 np.zeros().astype(int)显示指定创建数组内元素的类型 np.ones((行数，列数)) 创建一个全1的数组 np.ones().astype(in
Numpy nan
yaoyutian的博客
12-05 837
Cause: https://docs.scipy.org/doc/numpy/user/quickstart.html#indexing-slicing-and-iterating >>> a = np.arange(10)**3 >>> a array([ 0, 1, 8, 27, 64, 125, 216, 343, 512, 729]...
NumPy 的 nan 如何理解？
算法channel
11-23 2124
Python与算法社区第439篇原创，干货满满值得星标010203三步加星标你好，我是 zhenguoPython 中表示空数据使用 None，它是 NoneType类型，如下所示：I...
numpy之填充为nan的数据为该列平均值
weixin_30794491的博客
05-07 735
# coding=utf-8 import numpy as np ''' 填充nan的数据，为该列的平均值 ''' def fill_ndarray(t1): for i in range(t1.shape[1]): temp_col = t1[:,i] #取每一列 print(temp_col) nan_num...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值