浮点数的压缩算法

最新推荐文章于 2023-04-30 10:58:51 发布
最新推荐文章于 2023-04-30 10:58:51 发布
阅读量8.9k 收藏 4
点赞数
分类专栏： 三维相关 数学算法 c/c++/vc 文章标签： 算法 工具 存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/happy__888/article/details/277596
版权
参考IEEE的浮点数格式说明
对于0到1范围内的浮点数是可以压缩的

显然在0到1的范围内，一个单精度的浮点数，指数和符号位占据9个bit
而这9个bit是可以不用的，把它去除，只保留小数部分的23bit就可以达到压缩的目的
可以把一个浮点数从32bit，4字节压缩到23bit，3字节的范围内

这也是在3dmax等一些工具软件当中对浮点数进行压缩存储的方法。
比如，在单位化的法向量当中，每个浮点数都是0，1范围之间的数据
正常情况下表示三维空间当中的单位化法向量就需要12个字节
而经过这个压缩处理，只需要9个字节
寻开心
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
4字节浮点数算法
10-14
4字节浮点数算法
float压缩方式
ljyss9的博客
06-14 4151
float在舍弃一些精度和范围的情况下，可以做些压缩，节省存储空间。本文介绍3种压缩方式：fp16,Int8，fp block float存储格式 V = (-1) ^ s × M × 2 ^ E （1）(-1)^s 表示符号位，当 s=0，V 为正数；当 s=1，V 为负数。 （2）M 表示有效数字，大于等于 1，小于 2，但整数部分的 1 不变，因此可以省略。 （3）2^E 表示指数位。 比如： 对于十进制的 5.25 对应的二进制为：101.01，相当于：1.0101*2^2。所以，S 为
VLDB 2023 | 基于擦除的浮点无损压缩（附论文和源码）
最新发布
李瑞远-时空数据
04-30 620
比Gorilla压缩率提升50%
基于4Bit编码的深度学习梯度数据压缩算法
07-07
对梯度数据进行压缩，是一种减少多机间通信开销的有效方法，如 MXNET系统中的2Bit方法等。但这类方法存在个突出的问题，即过高的压缩比会导致精度及收敛速度下降，尤其是对规模较大的深度神经网络模型。针对上述问题，提岀了种新的4Bit梯度压缩策略。该方法采用4个比特位表示一个具体的梯度值（通常为32位的浮点数）。相对于2Bit，该方法能够对梯度值进行更细粒度的近似，从而提高训练结果的准确率和收敛性。进一步地，根据网络模型毎一层梯度特性的不冋，选择不同的近似阈值，使得压缩后的数值更合理，从而进一步加快模型的收敛速度并提髙最终准确率;具体地，兼顾操作的方便性和分布的合理性，根据每层梯度特性的不同，设置3组不同的阈值，以满足不冋层梯度差异化特性的需求。实验结果表明，使用多组阈值的4Bit梯度压缩策略虽然在加速方面略逊于2Bi方法，但其准确率更高，实用性更强，能够在保持模型更高精度的前提下减少分布式深度学习系统的通信开销，这对于在资源受限环境下实现性能更妤的深度学习模型非常有意义。
基于GPU加速的binLBT压缩解压算法 (2010年)
05-18
地形数据的压缩／解压是大规模地形实时绘制方法的关键步骤，与绘制效率密切相关．通过对压缩／解压方法核心重叠双正交变换的分析，采用重叠双正交变换的整数提升方法将变换中的浮点数操作转换为整数操作及移位操作．使用支持图形处理单元(GPU， Graphic Processing Unit)通用计算的CUDA(Compute Unified Device Architecture)对变换过程及编码过程进行加速．针对数据超出显存容量的情况，采取数据分块的方法将数据分别载入显存进行变换与编码以完成对整体数据的处理．实验结
结合lucene谈谈浮点数的压缩问题
weixin_33966095的博客
11-12 687
2019独角兽企业重金招聘Python工程师标准>>> ...
几大经典算法c语言cnds,浮点数据有损压缩算法 附完整C代码
weixin_39607620的博客
05-25 898
在几年前的时候在做修图APP算法的时候，曾经一度想过对3D Lut预设数据进行压缩，主要用于提升用户体验。关于3d lut算法开源的资源也挺多的，就不多做科普了。有兴趣的朋友，可以去查阅下ffmepg项目相关实现代码。最早接触3d lut算法是2014年逆向VSCO Cam胶片算法的时候，当然一开始我也不知道它的算法是3d lut，是反反复复编写各个版本，算法优化，直到有一天我突然想起一个常...
六：亲自尝试压缩数据
weixin_30700099的博客
09-04 107
0 开篇 （1）文件储存的基本单位是什么？ 字节（1字节=8位） （2）DOC、LZH和TXT这些扩展名中，哪一个是压缩文件的扩展名？ LZH （LZH是用LHA等工具压缩过的文件的扩展名） （3）文件内容用“数据的值*循环次数”来表示的压缩方法时RLE算法还是哈夫曼算法？ RLE算法 （4）在Windows计算机经常使用的SHIFT JIS字符编码...
压缩算法gorilla paper encoding原理
jacicson1987的专栏
09-06 5351
目录 引： IEEE754 浮点数简述 举例 算法原理 工作流程 压缩结构 简要分析 压缩率测试 小结： 2019.5.23更新--源码： 引： 从之前研究TSM文件格式，发现float类型的value是以facebook的gorilla paper encoding的算法进行压缩。 当时没有去深究，现在把这个算法的详细逻辑给理出来. 这个算法是float的压缩，首先...
论文研究-基于FPC和区间编码的工业浮点数据的压缩传输.pdf
09-16
为解决大量工业浮点数据在GPRS网络上传输时实时性降低的问题，提出了基于科学计算双浮点数压缩算法（FPC）与区间编码相结合的无损压缩方法IFPC实现工业浮点数据的压缩传输及解压缩。先对FPC算法与通用无损压缩算法应用在浮点数部分时的压缩效果作实验对比，实验结果表明FPC算法相比于通用的无损压缩算法在浮点数压缩上具有较好的压缩率以及较短的压缩与解压缩时间。将FPC算法与区间编码结合后的IFPC算法对整个数据域压缩与解压缩的实验结果表明，所提出的方法相比通用无损压缩算法，压缩率最低可提高7.6%，压缩时间最低可减少49.1%，综合传输时间减少了21.3%，提高了传输实时性。
论文研究-基于Surfel点云数据的压缩算法.pdf
07-22
针对点云数据局部集中的特点，使用差值预测对点云数据进行预测处理；在预测的同时，根据IEEE754浮点数标准，简化浮点数的尾数，使用3.5 Byte来表示一个浮点数，以提高压缩效果；然后对预测数据中连续重复的字节使用该字节加该字节重复的次数的方式存储；最后对经过以上处理的数据使用一阶自适应算术编码进行压缩。最终得到的程序在压缩比和内存占用两个方面远优于WinRAR、WinZip压缩软件。
超大浮点数(整数)乘法（string实现,完美版）
05-23
超大浮点数(整数)乘法（string实现,完美版） 大数计算 高精度计算 大数高精度 也可以计算大整数，自认完美，求指错
浮点运算简介 (转)
cuiji1279的博客
08-15 164
浮点运算简介 (转)[@more@]浮点运算简介 Hume/冷雨飘心 对于习惯于C的灵活多变的数据类型和方便的计算那些人而言,了解底层的浮点运算似乎没有什么意义,现在Visual盛行的时代还有多少人关心那些所谓的底层...
浮点数在计算机中存储方式、十六进制(HEX)和浮点类型(float、double)转换
zhuguanlin121的博客
04-02 6941
浮点数在计算机中存储方式 浮点类型转换为十六进制 方法1：用地址用指针 方法2：用共用体 方法3：使用memcpy 十六进制转换为浮点类型
关于浮点数的存储及转换
wjc_hbu的博客
03-22 2303
#关于浮点数float的存储 浮点数是用于表示带有小数部分的数值。java中有两种浮点类型：float和double。 所有的浮点数值计算都遵循IEEE754规范。具体的说，有三种溢出和出错情况的特殊浮点数值： 1.正无穷大：一个 正整数除以0 2.负无穷大：一个负整数除以0 3.NaN:0/0或者负数的平方根。 float类型 float类型的数值后带有后缀f或F。没有后缀的浮点型默认是doub...
数据压缩_任务一_计算机编程中的各种数据类型
weixin_41821317的博客
02-16 477
作业1：总结归纳计算机编程中的各种数据类型，其表示形式和计算方法。重点关注类型转换、数值溢出和移位等操作。
如何计算两个空间向量之间的转角
热门推荐
04-28 2万+
在三维空间当中，经常涉及到计算两个向量之间的角度问题，而且这个角度是特定的方向角度也就是说，围绕他们的公共法向量旋转的角度假定这两个向量是a和b我们知道 c=a×b是一个向量，方向是按照右手坐标系生成的，垂直于ab所在平面的向量，c向量的模是|c|=|a|*|b|*sinCita同时，我们知道，向量a*b是一个数，它的大小是是 |a|*|b|*cosCita根据这两个表达式，我们似乎可以用  ta
深度神经网络压缩算法综述
03-31
深度神经网络（DNN）已成为许多机器学习任务中最有效的模型之一，但它们的大规模和高计算需求使得它们在嵌入式设备和移动设备上的应用受到限制。为了解决这个问题，人们提出了各种DNN压缩算法，以减少网络的大小和计算需求，同时保持其性能。 本文将综述几种常见的DNN压缩算法： 1. 稀疏性：这种压缩方法通过将网络中的某些权重设置为零来减少参数的数量。稀疏性可以通过正则化技术（如L1正则化）来实现，也可以通过剪枝技术来实现，后者是在训练过程中将小于某个阈值的权重设置为零。稀疏性可以显著减少网络的大小和计算需求，但可能会影响性能。 2. 量化：这种压缩方法通过将网络中的浮点数权重和激活值转换为较少的比特数来减少存储和计算需求。量化可以在训练过程中进行，也可以在推理时进行。量化可以显著减少网络的大小和计算需求，但可能会影响性能。 3. 网络剪枝：这种压缩方法通过删除网络中的某些节点和连接来减少网络的大小和计算需求。这可以通过基于梯度的方法来实现，例如，删除梯度小于某个阈值的节点和连接。网络剪枝可以显著减少网络的大小和计算需求，但可能会影响性能。 4. 知识蒸馏：这种压缩方法通过使用一个大型的、准确的网络来指导一个小型的、低计算需求的网络。这可以通过在训练过程中将大型网络的输出作为小型网络的目标来实现。知识蒸馏可以在不影响性能的情况下减少网络的大小和计算需求。 总的来说，DNN压缩算法可以显著减少网络的大小和计算需求，从而使其适用于嵌入式设备和移动设备等资源受限的环境。不同的压缩方法具有不同的优缺点，需要根据具体应用场景来选择合适的算法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值