浮点数精度小结

最新推荐文章于 2022-12-03 17:22:48 发布
最新推荐文章于 2022-12-03 17:22:48 发布
阅读量484 收藏
点赞数
分类专栏： 图形学笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Shadow_wxy/article/details/105963961
版权

fixed/8bit/RGBA8，定点数，小数点后固定8位，用于LDR模式，精确到1/256，取值区间-2～+2；
10bit/RGB10_A2，用于HDR模式，无符号浮点数，适用于取值在8以内，最高精度1/32，最低精度到十分位；
11bit/R11G11B10，用于HDR模式，无符号浮点数，适用于取值在16以内，最高精度1/64，最低精度到百分位；
half/16bit/RGBA16F，用于HDR模式，半精度浮点数，取值在-6w～+6w；
float/32bit/RGBA32F，用于HDR模式，浮点数，精度最高，取值区间最大，耗费最多.

详细计算方式链接

Shadow_wxy
关注
专栏目录
详解浮点数的精度问题
weixin_43844995的博客
07-20 7474
详解浮点数精度问题
javascript中可处理的浮点数的最高精度（和小数的一些小特性）
dianjing0702的博客
04-23 183
1.之前在度娘那找了一下关于javascript中可处理的浮点数的最高精度的问题，但找了好久也找不到，于是自己 小小的研究了一下，之前以为是17，后来测到18，再后来又测到19，经过一系列的改写，得到下面的相对完善的检测方案： <script> //返回数字数组中的最大值 function arrMax(arr) { return Math.max.ap...
浮点数高精度
huantwofat
09-05 926
//用log取对数，然后用exp取次方
浮点数的精度问题
ZBourne的博客
03-28 808
浮点数的存储方式 知识补充—二进制表示的小数 对于二进制的小数： 1.1=1×20+1×2-1=1+1/2=1.5; 1.01=1×20+0×2-1+1×2-2=1+1/4=1.25 1.0011=1×20+0×2-1+0×2-2+1×2-3+1×2-4=1+1/8+1/16=1.1875 这样看下去，只要有足够的位数，二进制的小数就可以像十进制数一样表示任何数。但是计算机存储空间是有限的。为了...
浮点数精度问题
码农的博客
03-10 3288
一、例子      首先我们去编译器试试  double a=1.9；通过添加监视查看a的值    会发现a的值是1.8999999…    二、开始今天的学习        在最开始学c++的时候并没有对浮点数进行很深入的学习，认为浮点不就是小数嘛，首先在C++的宏里面有FLT_MAX 和FLT_MIN的定义，float是四字节的浮点数，后面我么会发现，四字节的浮点数有效数字为6-7位，能保证...
js计算精度问题小结
12-08
这种格式在存储和处理浮点数时会出现精度损失，尤其是在处理较大或较小的数字，以及进行加、减、乘、除运算时。这种精度问题在涉及到小数部分时尤为明显。 例如，简单的7 * 0.8 在JavaScript中计算的结果是5....
解析C++浮点数无效值的定义与无效值判定的小结
12-31
在实际计算中可能会出现浮点型的无效数据，格式化输出到文件中内容为1.79769e+308，输出到界面就是很大一串数据。这两种方式无论哪种在阅读和查找时就不是很方便。在开发中遇见浮点型数据无效值得判定。...
js 单精度浮点数转10进制_老生常谈之js浮点数精度
weixin_35057726的博客
01-14 577
众所周知，JavaScript 浮点数运算时经常遇到会 0.0000000001和0.99999999这样奇怪的结果，如 1.07*10 = 10.700000000000001。但是，往往当我们遇到问题之后才想起来浮点数对我们造成的负面影响，如果能提前避免，不是更好吗？常见的几种场景场景一：进行浮点值运算结果的判断常见错误写法：floatNum1 + floatNum2 === res我们在Ch...
PHP取整数函数常用的四种方法小结
12-18
值得注意的是，尽管结果看起来像是整数，但 `ceil()` 实际上返回的仍是一个浮点数，因为浮点数的范围通常比整数大。 2. **floor() - 舍去法取整** `floor()` 函数与 `ceil()` 相反，它返回不大于 `value` 的前一个...
图形编程中常用浮点数及其精度剖析
leon
09-26 3581
    图形学中经常要涉及使用各种格式的浮点数类型，如float,half,也会经常用到各种格式的浮点数类型PixelFormat，例如R10G10B10A2，R11G11B10，RGBHalf...。在合适的情况下使用合适的浮点数类型，是保证效率和效果的基础。虽然有些是大学本科课程，但牢记于脑海并时刻保持对每种浮点数精度的敏感也不易，此文总结并详细讨论一下各种常见浮点数的精度，范围，精度分布及应...
PC辉光效果一切正常，安卓辉光却没效果、显示异常（爆闪、黑屏等）
最新发布
a0_67的博客
12-03 2487
安卓端辉光不显示、辉光显示异常、post process中bloom参数介绍
OpenGL图像格式
Frank的专栏
11-22 5765
OpenGL ImageFormat
DXGI_FORMAT_R10G10B10A2_UNORM DXGI_FORMAT_R8G8B8A8_UNORM 转换
chao
04-16 1816
不同unorm格式转换 // xxxxxxxx yyyyyyyy zzzzzzzz wwwwwwww DXGI_FORMAT_R8G8B8A8_UNORM // RRRRRRRR RRGGGGGG GGGGBBBB BBBBBBAA DXGI_FORMAT_R10G10B10A2_UNORM int r = x << 2 | y >> 6; int g ...
UE4 iOS Metal FrameBufferFetchMRT
逍遥剑客
11-27 1869
最近在手机上尝试了一下把SceneColor改成R11G11B10, 使用FrameBufferFetch来读取深度. Android上可以使用framebuffer_fetch_depth_stencil, 但是iOS上不支持DepthFetch. 所以就尝试使用MRT输出一个R16F的Depth, 需要依赖FramebufferFetchMRT的实现. 4.26中UE4已经增加了延迟渲染, FramebufferFetchMRT已经实现了vk和metal的, 所以很方便地就合并了过来, 用法是这样的:
半精度浮点数详解
热门推荐
Miracle_cx的博客
04-22 2万+
IEEE754-2008包含一种“半精度”格式，只有16位宽。故它又被称之为binary16，这种类型的浮点数只适合用于存储那些对精度要求不高的数字，不适合用于进行计算。与单精度浮点数相比，它的优点是只需要一半的存储空间和带宽，但是缺点是精度较低。 半精度的格式与单精度的格式类似，最左边的一位仍是符号位，指数有5位宽且以余-16（excess-16）的形式存储，尾数有10位宽，但具有隐含1。 ...
一种小数表示方法
m0_49540263的博客
12-24 2044
一种浮点数表示方法 （是否有符号数,总位宽，小数部分位宽） 举例： （0，8，6）：8’b0100_0010 表示无符号数,8-0-6=2,2bit表示整数位，6bit表示小数位：1+2*(1/2^6)=1.03125 （1，9，3）：8’b1_1110_0101表示有符号数，最高位是符号位，9-1-3=5,次5bit是整数位，剩下3bit是 小数位：-(28+5*(1/2^3))=-28.625 （1,6，8）：此种情况较为特殊，小数部分位宽精度大于整个数据位宽，此时除去最高位符号位剩余的所有bit都表
（转）DirectX不是全部!3D游戏图形技术解析
weixin_34259159的博客
11-02 296
泡泡网显卡频道2月19日 近年来3D图形技术的发展势头非常迅猛，软件方面游戏的画面和逼真度有了长足进步，硬件方面显卡的更新换代越来越频繁。但始终存在这样一个现象，无论显卡的性能翻多少倍，游戏玩家们总感觉还是不够强大，GPU庞大的运算能力到底被谁吃掉了呢？     答案很简单，游戏为了提高画面质量、更加接近于真实世界，使用了诸多先进的图形技术，特效的“滥用”大幅提升了游戏画面水平，但也抵消掉了G...
2017年度大赏 | 最受欢迎的十个UWA问答
UWA—简单优化，优化简单！
02-28 1022
原文链接：https://blog.uwa4d.com/archives/2271.html新年伊始，随着大家紧锣密鼓地开始了工作，UWA每周推送的知识型栏目《厚积薄发 | 技术分享》已经伴随大家走过了100个工作周。回顾两年多来，我们分享了近500个和游戏开发、优化相关的精彩问答。这些问答不仅有具象明确的提问，也有详细周全的解答；既能供研发团队自身项目中即学即用，还能通过参与者的回答分析，帮助我...
常见浮点数格式梳理
weixin_44966641的博客
04-05 4514
常见浮点数格式梳理 IEEE 754 标准 浮点数转换网站：https://www.h-schmidt.net/FloatConverter/IEEE754.html IEEE二进制浮点数算术标准，为许多CPU与浮点运算器所采用。这个标准定义了表示浮点数的格式（包括负零-0）与反常值（denormal number），一些特殊数值（无穷（Inf）与非数值（NaN）），以及这些数值的“浮点数运算符”；它也指明了四种数值舍入规则和五种例外状况（包括例外发生的时机与处理方式）。 IEEE 754规定了四种表示浮点
MongoDB实战技巧：Q&A与经验分享
MongoDB的Shell中，所有数字都被视为双精度浮点数（double）。这意味着，当你从数据库读取一个32位整数并试图更新但不做任何改变时，该整数会被自动转换为浮点数。为了避免这种行为，确保在与数据库交互时清楚地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值