float16/32/64对神经网络计算的影响

最新推荐文章于 2024-08-14 21:35:59 发布
最新推荐文章于 2024-08-14 21:35:59 发布
阅读量4.2k 收藏 2
点赞数
分类专栏： python宝典
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/106063375
版权
本文探讨了浮点数精度（float16, float32, float64）对神经网络计算的不同影响，包括内存占用、计算速度、精度损失及计算稳定性的挑战。业界标准是BF16，但FP16在numpy中易导致精度不足的问题。采用float32作为计算标准可以平衡内存和精度，而float16可降低内存需求但可能影响计算速度。teapot库决定使用float32并避免数据类型提升，同时提出数据集使用float16、权重使用float32的方案，但牺牲了numba加速的可能性。" 119951503,7947649,普通人的声音赚钱秘籍：六个实用方法,['经验分享'],"['声音赚钱', '音频平台', '主播', '配音', '录制课程', '有声书', '变现方法']
摘要由CSDN通过智能技术生成

https://www.maixj.net/ict/float16-32-64-19912

float16/32/64对神经网络计算的影响

 

神经网络的计算，或者说深度学习的计算，全都是浮点数。浮点数的类型分16/32/64（128位的不再考虑范围内，numpy和python最大只到float64），选择哪一种浮点数类型，对神经网络的计算有不同的影响。以下是近期的学习总结：

（1）目前业界深度学习的标准是BF16，一种16位的浮点数，据说Google的TPU已经支持，未来Intel的芯片也会支持；

（2）我们在一般计算上的，通过numpy得到的16位浮点数，是FP16，不是BF16；FP16是IEEE754-2008的标准；这两个标准，在能够表示的数值的范围上有区别；



了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI算法网奇
关注
专栏目录
订阅专栏
神经网络计算中不同精度的浮点数对计算速度和准确度的影响
.
03-23 1046
神经网络计算中不同精度的浮点数对计算速度和准确度的影响神经网络计算是目前人工智能领域中最常见的任务之一，而浮点数是神经网络中最为常用的数据类型。在神经网络中，通常使用float32作为默认的浮点数精度。但是，随着神经网络的规模增加，计算需求也越来越高，使用更低精度的浮点数也变得越来越普遍。本文将介绍不同精度的浮点数对神经网络计算速度和准确度的影响。
PyTorch深度学习实战（7）——批大小对神经网络训练的影响
盼小辉丶的博客
07-31 5185
在神经网络中，批( batch )是指一次输入网络进行训练或推断的一组样本。批处理( batch processing )是指将这一组样本同时输入网络进行计算的操作。本节中首先介绍批( Batch )的基本概念，并且介绍批大小在神经网络训练过程中的影响。
神经网络计算
SRE实战派
01-13 1352
人工智能的三个学派 人工智能：让机器具备人的思维和意思 行为主义 基于控制论，构建感知-动作控制系统 控制论，如平衡、行走、避障等自适应控制系统 符号主义 基于算数逻辑表达式，求解问题时先把问题描述为表达式，再求解表达式 可用公式描述、实现理性思维，如专家系统 连接主义（主流） 仿生学，模仿神经元连接关系 仿脑神经元连接，实现感性思维，如神经网络 随着我们的成长，大量的数通过视觉、听觉涌入大脑，使我们神经元连接线上的权重发生了变化 用计算机仿出神经网络连接关系 准备数据：采集大量 ”
仓颉编程语言：浮点类型（基础数据类型）
最新发布
Androidbye的博客
08-14 329
浮点类型包括 Float16、 Float32 和 Float64..........
python dtype=float 是32还是64_【Python】numpy数组用dtype=float16初始化的坑
weixin_29046035的博客
02-19 4326
【Python坑系列】为了节约空间，使用numpy数组时候采用了float16，结果发现精度远远不达标默认的floar64是最接近原本浮点数的a = 0.0001 * np.ones(10,np.float16)aOut[206]:array([ 0.00010002, 0.00010002, 0.00010002, 0.00010002, 0.00010002,0.00010002, ...
机器学习：慎用float16，即使你的数据是整型！
hqsiswiliam的博客
05-08 2131
开始 背景 前一段在公司做实验，本来想着如何节约运算空间，就打起了float16的主意。 数据类型 由于我是处理英文NLP类型的数据，所以采用了unigram的方式来切分单词 具体就是我采用了sentence piece model来train自己的spm模型 在使用spm模型中，可以一句话转成若干个subwords，而这些subwords就可以用id来表示 举个例子 通过spm模型，可以将这句话...
仓颉编程语言开发：浮点类型
xiaoxiaoxinQAQ的博客
08-08 455
浮点类型不支持自增和自减操作符。
float32和float64的本质区别(类型对深度学习影响以及python的使用)
拼命小李博客
05-08 10万+
首先我们需要知道何为bits和bytes? bits:名为位数 bytes:为字节 简单的数就是MB和G的关系！那么8bits=1bytes，下面是各个单位的相互转化！ 那么float32和float64有什么区别呢? 数位的区别 一个在内存中占分别32和64个bits，也就是4bytes或8bytes 数位越高浮点数的精度越高 它会影响深度学习计算效率? float64占用的......
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
盼小辉丶的博客
06-13 6万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 6万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
STM32入门教程：神经网络
2401_85625565的博客
07-31 724
神经网络的基本组成部分是神经元（Neuron），它们通过权重（Weight）和激活函数（Activation Function）来处理输入信号，并将结果传递给下一层神经元。在STM32上，可以使用数组和结构体来表示神经网络的各个层次和神经元，并通过指针来访问和操作它们。在STM32上，可以使用循环和矩阵运算函数来实现反向传播算法，并更新神经网络的权重。以上代码实现了一个简单的具有一个隐层和一个输出层的神经网络，在训练数据和测试数据上进行了训练和推理，并输出了结果。
int8 int16 int32 int64 float16 float32
zephyr_wang的博客
12-05 1万+
int8取值范围是-128 - 127 Int16 意思是16位整数(16bit integer)，相当于short 占2个字节 -32768 ~ 32767 Int32 意思是32位整数(32bit integer), 相当于 int 占4个字节 -2147483648 ~ 2147483647 Int64 意思是64位整数(64bit interger), 相当于 long long 占8个字节 -9223372036854775808 ~ 92233720368547
深度学习中使用X_train.astype('float32')的原因分析
QQ_2642160196的博客
03-09 1万+
再深度学习中，数据量往往很大，所以在保障数据精度的同时还要考虑计算效率，虽然float64比float32有更高的精度，但一个在内存中占分别64和32个bits，也就是4bytes或8bytes. 具体来讲，float64占用的内存是float32的两倍，是float16的4倍；比如对于CIFAR10数据集，如果采用float64来表示，需要60000323238/1024**3=1.4G，光把数...
【基础知识】彻底搞懂float16与float32的计算方式
chen1234520nnn的博客
10-19 2万+
参考链接：https://blog.csdn.net/leo0308/article/details/117398166 简单介绍： 深度学习中int8、float16、float32的主要却别在于能表示的数值范围、数值精度。 半精度是英伟达在2002年搞出来的，双精度和单精度是为了计算，而半精度更多是为了降低数据传输和存储成本。 很多场景对于精度要求也没那么高，例如分布式深度学习里面，如果用半精度的话，比起单精度来可以节省一半传输成本。考虑到深度学习的模型可能会有几亿个参数，使用半精度传输还是非常
【C语言】16、32和64位编译器环境下(char、short、int、long、longlong、float、double和指针)占用多少字节
crr411422的博客
03-16 2817
常用的32位操作系统和64位操作系统对比：除了 * 与long随操作系统子长变化而变化外，其他的都固定不变：bool 1个字节 、char 1个字节、 int 4个字节、float 4个字节 、doubl 8个字节、long long 8个字节。
Nvidia GPU的浮点计算能力(FP64/FP32/FP16)
热门推荐
haima1998的专栏
10-16 10万+
转自：http://weibo.com/ttarticle/p/show?id=2309403987017473113077 ​​其实说到浮点计算能力，首先得区分不同精度的浮点数，虽然Linpack测试里只关心双精度的浮点计算能力，但在其他领域，有时候反而会更加关注单精度甚至是半精度的浮点计算能力。 半精度、单精度、双精度这些概念是在IEEE 754标准里定义的，浮点计数是利用浮动
Mixed-Precision(float16 & float32)神经网络
smartcat2010的博客
02-15 860
MxNet的混合精度 使用float16的好处： 1. 借助Tensor加快计算速度； 2. 减少显存空间占用量:Model变小; 可以放更复杂的网络，可以使用更大的batch；减少访存量，减小通信量； ...
STM32移植神经网络（4）-- STM32部分概述
m0_37768370的博客
04-25 4179
在STM32上实现Kaggle猫狗识别
float32精度_混合精度加速训练
weixin_39764603的博客
11-30 737
最近在用tensor2tensor训练翻译模型，但是出现了不明所以的“Nan”，已经验证了所有可能引起Nan loss的原因，过程极其坎坷，最后发现全部都不奏效。后来在复现模型的过程中，发现复现时每一步的计算结果和模型训练时的结果总是会存在差异，完全不能找到究竟是哪里发生了问题，找bug找到每天做梦都是bug。再后来终于发现可能是训练过程中开了混合精度（export TF_ENABLE_AUTO_...
神经网络GPU显存与计算力分析
显存是神经网络模型和数据的主要存储空间，而计算单元的强度则直接影响神经网络的计算效率。计算量通常用FLOPs（浮点运算次数）来衡量，表示每次运算中的浮点乘加操作。强大的GPU能提供更高的处理能力，从而加速训练...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值