解决numpy 和 tensorflow预处理数据时精度不一致问题

最新推荐文章于 2022-04-07 14:01:59 发布
最新推荐文章于 2022-04-07 14:01:59 发布
阅读量4.5k 收藏 2
点赞数
分类专栏： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/andylei777/article/details/79014562
版权
本文探讨了在使用TensorFlow和NumPy处理数据时出现精度不一致的问题，尤其是与`tf.reduce_mean`相关的差异。为了解决这个问题，建议将TensorFlow的数据处理代码改为使用`tf.float64`，同时将NumPy的部分也更改为`np.float64`。通过修改`per_image_standardization`源码中的数据类型，可以减少两者之间的差异。
摘要由CSDN通过智能技术生成

解决numpy 和 tensorflow处理数据时精度不一致问题

原因可能与tf.reduce_mean有关，具体见 https://github.com/tensorflow/tensorflow/issues/12387 https://github.com/tensorflow/tensorflow/issues/5527

时间有限没有深究，暂时的解决方法是 tensorflow数据处理过程改为tf.float64, numpy的数据处理过程也改为np.float64

tensorflow 数据处理部分代码如下

  #image = tf.to_float(image)
  image = tf.to_double(image)
  # Resize and crop if needed.
  resized_image = tf.image.resize_image_with_crop_or_pad(image,
                                                         output_width,
                                                         output_height)
  # Subtract off the mean and divide by the variance of the pixels.
  norm_image 
最低0.47元/天 解锁文章
andylei777
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch中tensor数据和numpy数据转换中注意的一个问题
nihate的专栏
09-20 1万+
在pytorch中，把numpy.array数据转换到张量tensor数据的常用函数是torch.from_numpy(array)或者torch.Tensor(array)，第一种函数更常用，然而在pytorch0.4中已经舍弃了这种函数，下面一个简单的编程实验说明这两种方法的区别，实验在pytorch0.4框架下进行 运行程序之后，结果是 可以看出修改数组a的元素值，张量b的元素值...
为什么数组变成tensor精度只有四位？
weixin_43842276的博客
04-19 1836
@TOC为什么数组变成tensor精度只有四位？ 原数据为list [-3.316344738006592，-1.777564764，…， 1.104965329170227] list变成tensor train_data = np.array(train_data) train_data = train_data.astype(float) train_data = torch.from_numpy(train_data) 但变成tensor输出时只有4位小数， tensor([[-3.3163,
为什么Pytorch中numpy转换为Tensor只有4位小数点（表象）
wacyy的博客
04-07 3804
为什么Pytorch中numpy转换为Tensor只有4位小数点（表象）
numpy array / pytorch tensor 数据类型转换
weixin_37804469的博客
08-31 6511
array str 转 int timestamp = delta_pose[i, 0].astype(int) numpy 转 tensor a = numpy.array([1, 2, 3]) t = torch.from_numpy(a) print(t) #tensor([ 1, 2, 3])
pytorch张量的.item()和.numpy()
davidsmith8的博客
04-25 3615
pytorch张量的.item()和.numpy() 今天在加载一个pytorch代码时出现了在测试集上的精度计算为0的情况。于是小白我又懵圈了，代码明明是按书上敲的，怎么就是不对呢。代码本身非常简单，是一个MNIST数据集上的hello world代码。但没想到后面在测试集上的精度计算却给我来了一个意外的“惊喜”。（后面有MNIST的整个代码，和我写的精度为零的部分。），经过参考https:/...
包括部分数据预处理以及基于Tensorflow的DMVST_Net模型的实现.zip
03-02
在原始数据中，往往存在噪声、缺失值、不一致性等问题，这些都会降低模型的训练效果。因此，数据预处理包括了数据清洗、缺失值处理、异常值检测与处理、数据标准化（归一化）和特征缩放等步骤。例如，数据清洗涉及到...
计算机视觉深度学习 数据预处理 比如：生成巨量图片数据时候.zip
03-03
在这个"人工智能-项目实践-数据预处理"项目中，我们将深入探讨如何有效地进行数据预处理，特别是在生成大量图片数据时的方法。 1. **数据增强**： 数据增强是一种通过随机变换原始图像来增加数据多样性的技术，...
YOLOv7数据预处理部分代码（bbox归一化及数据路径生成）.zip
03-03
本项目实践主要涉及数据预处理中的两个关键环节：边界框（bbox）的归一化处理和数据路径生成。 1. **边界框（bbox）归一化** 在目标检测中，边界框用于精确地框出图像中的物体。在YOLOv7中，边界框通常以坐标的...
对原始数据集进行预处理，窗口划分，特征提取，特征融合，分类识别.zip
03-03
接着，**窗口划分**是一种常见的时序数据分析方法，特别是在处理时间序列数据时。例如，在活动识别中，我们可能将一段连续的时间数据划分为多个固定长度的窗口，每个窗口代表一个独立的样本。这样做可以捕捉到数据随...
基于tensorflow，利用fer2013数据集，卷积神经网络实现简单人脸表情识别.zip
最新发布
03-27
首先，我们需要导入必要的库，包括TensorFlow，Numpy，matplotlib等，并对Fer2013数据集进行预处理。预处理步骤包括读取图像，调整图像尺寸以适应模型输入，以及对数据进行归一化处理，确保数值范围在0到1之间。 接...
【Python秘籍】numpy到tensor的转换
weixin_43728604的博客
10-22 1万+
在用pytorch训练神经网络时，我们常常需要在numpy的数组变量类型与pytorch中的tensor类型进行转换，今天给大家介绍一种它们之间互相转换的方法。 一、numpy到tensor 首先我们要引入必要的包： import numpy as np import torch 然后创建一个numpy类型的数组： x = np.ones(5) print(type(x)) 这里创建了一个一维...
【python】numpy和tensor互相转换
学无止境、积少成多、厚积薄发
02-18 9万+
在用pytorch训练神经网络时，常常需要在numpy的数组变量类型与pytorch中的tensor类型进行转换。 一、numpy转tensor 首先，导入需要使用的包： import numpy as np import torch 然后创建一个numpy类型的数组： x = np.ones(5) print(type(x)) # 查看x的类型 这里创建了一个一维的数组，5个都为1，我们打印一下这个x的类型显示如下： <class 'numpy.ndarray'> 这个就说明现在x是nu
numpy 和 tensor 的区别
nyist_yangguang的博客
04-26 3515
关系：两者共享内存，转换方便，没有额外的开销。 区别： 1 数据类型上面的区别： numpy 默认类型是 float64 torch 默认类型是float32
Tensor与Numpy的转化【numpy与list的转换】
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
02-07 914
张量和Numpy array数组在CPU上可以共用一块内存区域, 改变其中一个另一个也会随之改变。
numpy浮点转整数的精度损失问题
BeautyGao的专栏
08-22 5410
在numpy数组使用时发现了浮点数转整数可能会产生错误的问题，目前采用引入误差方式解决。 1、问题代码： e = 0 points = np.array([[100.10, 40.20], [100.30, 40.60], [100.20, 40.70]]) lons = points[:, 0] - 100.0 +...
tenorflow基础知识（三） tensor张量、tensor的属性、tensor数据和numpy数据的转化
promisejia
06-25 4971
[] 1. 什么是tensor张量，tensor的结构 tensor是tensorflow中的数据形式。是一种可以表示多维数组的class类，可以理解为多维数组。在tensor类中包含以下几个属性： name属性：name是一个Tensor的唯一标识符. 如果我们没有指定name的值，则tensorflow会按操作名自动分配name值，比如用a = tf.contstant(1.0)...
tensor 和 numpy 的互相转换
热门推荐
ljs_a的博客
12-09 12万+
要对tensor进行操作，需要先启动一个Session,否则，我们无法对一个tensor比如一个tensor常量重新赋值或是做一些判断操作，所以如果将它转化为numpy数组就好处理了。下面一个小程序讲述了将tensor转化为numpy数组，以及又重新还原为tensor：import tensorflow as tf img1 = tf.constant(value=[[[[1],[2],[3],[4
python 精度损失_精度损失numpy mpmath
weixin_39795325的博客
12-13 458
对于完整性，以及像我这样因为numpy的线性解算器不够精确而偶然发现这个问题的人来说，还有sympy。在这个API有点类似于numpy，但是需要不时地进行一些调整。在In [104]: A = Matrix([[1792801415566912310652243723444935473772336726223648936039955992225815565009726090764938786702...
TensorFlow，判断数值相等
u010751974的专栏
04-13 1854
来源 ：https://blog.csdn.net/SherlockJerry/article/details/83687263 感谢分享！ 自己的实践： print(sess.run(aeqb))
tensorflow怎么训练上述数据集？并且导出参数文件
06-13
3. 定义训练过程：使用 TensorFlow 定义训练过程，包括初始化变量、批量读取训练数据、执行前向传播和反向传播、计算损失和精度等。 4. 定义验证过程：使用 TensorFlow 定义验证过程，包括随机读取验证数据、执行前...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值