机器学习：慎用float16，即使你的数据是整型！

最新推荐文章于 2024-06-11 14:50:44 发布
最新推荐文章于 2024-06-11 14:50:44 发布
阅读量2k 收藏 2
点赞数 3
文章标签： 自然语言处理 机器学习 深度学习 tensorflow 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hqsiswiliam/article/details/105995967
版权

开始

背景

前一段在公司做实验，本来想着如何节约运算空间，就打起了float16的主意。

数据类型

由于我是处理英文NLP类型的数据，所以采用了unigram的方式来切分单词
具体就是我采用了sentence piece model来train自己的spm模型
在使用spm模型中，可以一句话转成若干个subwords，而这些subwords就可以用id来表示

举个例子

通过spm模型，可以将这句话：
I am Q----> [41, 515, 11]
所以我的数据格式理所应当的就是整型数字了！

悲剧的发生

其实做过NLP的朋友都知道，在处理NLP数据里，对数据进行补零(Padding)是一个非常有必要的事情。
因为无论是简单的Vanilla RNN还是复杂如transformer，都是有一个max length的。
所以我就非常理所应当的用了keras里提供的pad_sequence方法来进行补零，方法代码如下：

..
最低0.47元/天 解锁文章
hqsiswiliam
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
套路!机器学习：北美数据科学家的私房课.pdf
09-24
"机器学习：北美数据科学家的私房课" 本书是一个关于机器学习和数据科学的指南，旨在为读者提供实践指南，让他们更好地理解数据科学这个行业，并掌握相关的技能。数据科学是一个复杂的领域，它需要数学、统计、...
numpy float16数据转换之精度损失
domodo2012的博客
12-05 2211
When you convert from 32bit float to 16bit float and back, some of the bits are lost, but note that this does not mean the decimal representation will be shorter. When you print out a floating point number, the computer only prints the closest decimal repr
彻底搞懂float16与float32的计算方式
热门推荐
leo0308的博客
05-30 4万+
1 float 16与float 32 1.1 float16 1.1.1 计算方式 float 16又称半精度， 用16个比特也就是2个字节表示一个数。 如下图所示， 其中1位符号位， 5位指数位， 10位小数位。 那么， 这16个比特位是怎么表示1个数的呢 ？ 分3部分：符号位 ， 指数部分， 小数部分。 a 符号位： 1代表负数， 0代表正数。 b 指数部分，5个比特位， 全0和全1有特殊用途，所以是00001~11110， 也就是1到30， 减去偏置15，指数部分最终范围为-14 ~15. c 小
大模型入门（四）—— 基于peft 微调 LLaMa模型
最新发布
2401_85325397的博客
06-11 779
llama-7b模型大小大约27G，本文在单张/两张 16G V100上基于hugging face的peft库实现了llama-7b的微调。
[linux] 半精度浮点数形式 (float16) 和单精度浮点数形式(float32)
心宝的博客
03-22 2403
因此在GPU上进行运算时，可以同时处理更多的数据，并且可以减少内存传输带来的延迟，从而提高整体的计算效率。因此，在一些大规模的深度学习任务中，使用半精度浮点数形式能够有效地缩短计算时间，提升训练的速度，但是这也可能会影响模型的准确性，需要在实际使用时加以权衡。由于半精度浮点数形式所占用的。
【基础知识】彻底搞懂float16与float32的计算方式
chen1234520nnn的博客
10-19 2万+
参考链接：https://blog.csdn.net/leo0308/article/details/117398166 简单介绍： 深度学习中int8、float16、float32的主要却别在于能表示的数值范围、数值精度。 半精度是英伟达在2002年搞出来的，双精度和单精度是为了计算，而半精度更多是为了降低数据传输和存储成本。 很多场景对于精度要求也没那么高，例如分布式深度学习里面，如果用半精度的话，比起单精度来可以节省一半传输成本。考虑到深度学习的模型可能会有几亿个参数，使用半精度传输还是非常
FLOAT16 16BIT浮点数的解释
wowo的专栏
12-01 5826
FLOAT1616bit Floating-Point 数值 16bit Floating-Point 数值 16bit 浮点数的组成：1bit sign (S 符号位), 5bit exponent (E 整数位), 10bit mantissa (M 小数位)。其计算公式为：
关于半精度FP16的表示范围和精度、混合精度训练--彻底弄懂
guanyonglai的博客
10-17 1万+
之前想看一下浮点数和整型数的表示到底有什么区别，零零散散看了一些文章，感觉写得都不得要领，今天要系统把FP16的表示原理完全讲明白。
机器学习：鸢尾花数据集
08-14
机器学习：鸢尾花数据集
机器学习：基于数据仓库、辅佐数据仓库、挖掘数据仓库.zip
04-18
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构，从而不断改善...
数据分析师最常用的10个机器学习算法！
02-25
本文来自于51cto，介绍了数据科学家常使用的十大机器学习算法详细以及他们的特性等相关知识。在机器学习领域，有种说法叫做“世上没有免费的午餐”，简而言之，它是指没有任何一种算法能在每个问题上都能有最好的...
float与16进制互转 工具
12-03
非常好用的float和hex 互相转换工具 值得下载
Python数据分析与机器学习实战:问答机器 人
05-02
Python数据分析与机器学习实战:问答机器 人 tmp.py qa.py da ta tasks_1-20_v1-2
16位浮点数表示范围
Dezeming的博客
09-26 2339
尾数位最小值：0000000001（$2^{-10}$），最大值：1111111111（$(1-2^{-10}) \times 2^{1}$）尾数值范围：$1\leq M \leq (1-2^{-10}) \times 2^{1}$，其中 $M$ 表示尾数的值。最大负数：$-(1-2^{-10}) \times 2^{15}=-65504$最大正数：$(1-2^{-10}) \times 2^{15}=65504$最小负数：$-2^{-14}=-0.00006103515625$
『CV学习笔记』深度理解半精度float16的表示
AI新视界
05-06 1178
float16顾名思义有16位二进制数，其中有1位固定的符号位，记为sign。剩下15位中5位作为指数，记为exponent。剩下的10位用于表示小数，记为fraction
[通俗易懂]float32、float16、bfloat16之间的差异
a61022706的博客
01-03 5003
qlora一般用bfloat16的精度类型进行训练，然而支持bfloat16精度往往需要V100以上的卡（不包括V100）。可惜本人服务器上只有V100类型的卡，想要使用qlora进行训练需要把精度改为float16。指的是使用FP32作为主权重，而在进行前向和后向传播时使用FP16/BF16来提升训练速度，最后在梯度更新阶段再使用FP16/BF16梯度更新FP32主权重。不同的浮点数据类型：float32、float16、bfloat16等，可以称之为精度，而模型大小 = 模型参数量x精度。
float数据十六进制表示法，十六进制读取float数据
king110_1的专栏
11-04 6776
今天用微软自带的计算器计算浮点的十六进制码，竟然没有，然后我就查啊查，费了九牛二虎之力才搞懂这个。 float是32位，符号位（正负），小数点位，小数后的位数是这样分配的。 首先，计算机的内数字在内存中是逆序存放的。即1234，实际存放是4321。内存怎么样存放我是不清楚的，只能在硬盘中查看数据。尽管硬盘数据有大端字节序和小端字节序区分，但中文操作系统好像默认都是逆序的小端字节序（little-endian）。 大端字节序 小端字节序 32位整数在硬盘里的存放顺序，以每8位为一个数字，即.
深度学习中使用的16位浮点数格式
flyfish
06-26 1271
flyfish
FPGA-半精度浮点数(float_16)及其VHLS求逆实现方法
qq_37912811的博客
08-29 1336
1、16*16半精度浮点数矩阵求逆的算法。半精度浮点数属于一个新的数据类型。float16是英伟达做并行计算为减少存储空间而定义的新的数据格式，只占用16位，相当于2个字节的内存，在IEEE 754-2008中，它被称作binary16。...
机器学习的考古：数据实践的探讨
Mackenzie的分析涉及抽象层、数据基础设施、编码实践、图表、数学形式主义以及机器学习的社会组织，追踪了当代技术文化的中心区域之一——机器学习的大部分不可见架构。" 在《Machine Learners》中，Mackenzie关注...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值