为什么宁可使用 float16 也不使用 bfloat16

已于 2022-03-19 23:26:23 修改
阅读量1.3k 收藏 1
点赞数
分类专栏： 深度学习 文章标签： 深度学习框架 bfloat16 float16
于 2022-03-19 23:24:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ONE_SIX_MIX/article/details/123605345
版权

因为，bfloat16的计算，真的太慢了。。。。。。一丁点优化都没有。。。
都上了 CUDA 11.3 ，驱动版本 511.23 了

styleganv2 1070显卡上的Log，改成bfloat16跑1000张图像居然要6分钟
而跑在 float16 上只需要2分钟
如果换到 3090 显卡上，跑1000张图像的 bfloat16，也需要3.6分钟，如果是切换到 float32，则只需要30秒。

bfloat16 的计算速度真是令人绝望。

这个是使用GTX1070 bfloat16的

2022-03-19 18:12:26.821 | INFO     | Generator                    Parameters  Buffers  Output shape        Datatype
2022-03-19 18:12:26.821 | INFO     | ---                          ---         ---      ---                 ---     
2022-03-19 18:12:26.821 | INFO     | mapping.layers.0             262656      -        [16, 512]           float32 
2022-03-19 18:12:26.836 | INFO     | mapping.layers.1             262656      -        [16, 512]           float32 
2022-03-19 18:12:26.836 | INFO     | mapping.layers.2             262656      -        [16, 512]           float32 
2022-03-19 18:12:26.836 | INFO     | mapping.layers.3             262656      -        [16, 512]           float32 
2022-03-19 18:12:26.836 | INFO     | mapping.layers.4             262656      -        [16, 512]           float32 
2022-03-19 18:12:26.836 | INFO     | mapping.layers.5             262656      -        [16, 512]           float32 
2022-03-19 18:12:26.836 | INFO     | mapping.layers.6             262656      -        [16, 512]           float32 
2022-03-19 18:12:26.836 | INFO     | mapping.layers.7             262656      -        [16, 512]           float32 
2022-03-19 18:12:26.836 | INFO     | mapping                      -           512      [16, 12, 512]       float32 
2022-03-19 18:12:26.852 | INFO     | synthesis.blocks.b4.conv1    721408      16       [16, 256, 4, 4]     float32 
2022-03-19 18:12:26.852 | INFO     | synthesis.blocks.b4          4096        16       [16, 256, 4, 4]     float32 
2022-03-19 18:12:26.852 | INFO     | synthesis.blocks.b8.skip     65536       16       [16, 256, 8, 8]     float32 
2022-03-19 18:12:26.852 | INFO     | synthesis.blocks.b8.conv0    721408      16       [16, 256, 8, 8]     float32 
2022-03-19 18:12:26.852 | INFO     | synthesis.blocks.b8.conv1    721408      16       [16, 256, 8, 8]     float32 
2022-03-19 18:12:26.852 | INFO     | synthesis.blocks.b8          -           16       [16, 256, 8, 8]     float32 
2022-03-19 18:12:26.852 | INFO     | synthesis.blocks.b16.skip    65536       16       [16, 256, 16, 16]   bfloat16
2022-03-19 18:12:26.852 | INFO     | synthesis.blocks.b16.conv0   721408      16       [16, 256, 16, 16]   bfloat16
2022-03-19 18:12:26.868 | INFO     | synthesis.blocks.b16.conv1   721408      16       [16, 256, 16, 16]   bfloat16
2022-03-19 18:12:26.868 | INFO     | synthesis.blocks.b16         -           16       [16, 256, 16, 16]   bfloat16
2022-03-19 18:12:26.868 | INFO     | synthesis.blocks.b32.skip    65536       16       [16, 256, 32, 32]   bfloat16
2022-03-19 18:12:26.868 | INFO     | synthesis.blocks.b32.conv0   721408      16       [16, 256, 32, 32]   bfloat16
2022-03-19 18:12:26.868 | INFO     | synthesis.blocks.b32.conv1   721408      16       [16, 256, 32, 32]   bfloat16
2022-03-19 18:12:26.868 | INFO     | synthesis.blocks.b32         -           16       [16, 256, 32, 32]   bfloat16
2022-03-19 18:12:26.868 | INFO     | synthesis.blocks.b64.skip    32768       16       [16, 128, 64, 64]   bfloat16
2022-03-19 18:12:26.868 | INFO     | synthesis.blocks.b64.conv0   426368      16       [16, 128, 64, 64]   bfloat16
2022-03-19 18:12:26.883 | INFO     | synthesis.blocks.b64.conv1   213248      16       [16, 128, 64, 64]   bfloat16
2022-03-19 18:12:26.883 | INFO     | synthesis.blocks.b64         -           16       [16, 128, 64, 64]   bfloat16
2022-03-19 18:12:26.883 | INFO     | synthesis.blocks.b128.skip   8192        16       [16, 64, 128, 128]  bfloat16
2022-03-19 18:12:26.883 | INFO     | synthesis.blocks.b128.conv0  139456      16       [16, 64, 128, 128]  bfloat16
2022-03-19 18:12:26.883 | INFO     | synthesis.blocks.b128.conv1  69760       16       [16, 64, 128, 128]  bfloat16
2022-03-19 18:12:26.883 | INFO     | synthesis.blocks.b128.torgb  33027       -        [16, 3, 128, 128]   bfloat16
2022-03-19 18:12:26.883 | INFO     | synthesis.blocks.b128:0      -           16       [16, 64, 128, 128]  bfloat16
2022-03-19 18:12:26.883 | INFO     | synthesis.blocks.b128:1      -           -        [16, 3, 128, 128]   bfloat16
2022-03-19 18:12:26.899 | INFO     | ---                          ---         ---      ---                 ---     
2022-03-19 18:12:26.899 | INFO     | Total                        8274627     864      -                   -       
2022-03-19 18:12:26.899 | INFO     | 
2022-03-19 18:12:27.243 | INFO     | 
2022-03-19 18:12:27.243 | INFO     | Discriminator        Parameters  Buffers  Output shape        Datatype
2022-03-19 18:12:27.243 | INFO     | ---                  ---         ---      ---                 ---     
2022-03-19 18:12:27.258 | INFO     | blocks.b128.fromrgb  256         16       [16, 64, 128, 128]  bfloat16
2022-03-19 18:12:27.258 | INFO     | blocks.b128.skip     8192        16       [16, 128, 64, 64]   bfloat16
2022-03-19 18:12:27.258 | INFO     | blocks.b128.conv0    36928       16       [16, 64, 128, 128]  bfloat16
2022-03-19 18:12:27.258 | INFO     | blocks.b128.conv1    73856       16       [16, 128, 64, 64]   bfloat16
2022-03-19 18:12:27.258 | INFO     | blocks.b128          -           16       [16, 128, 64, 64]   bfloat16
2022-03-19 18:12:27.258 | INFO     | blocks.b64.skip      32768       16       [16, 256, 32, 32]   bfloat16
2022-03-19 18:12:27.258 | INFO     | blocks.b64.conv0     147584      16       [16, 128, 64, 64]   bfloat16
2022-03-19 18:12:27.258 | INFO     | blocks.b64.conv1     295168      16       [16, 256, 32, 32]   bfloat16
2022-03-19 18:12:27.274 | INFO     | blocks.b64           -           16       [16, 256, 32, 32]   bfloat16
2022-03-19 18:12:27.274 | INFO     | blocks.b32.skip      65536       16       [16, 256, 16, 16]   bfloat16
2022-03-19 18:12:27.274 | INFO     | blocks.b32.conv0     590080      16       [16, 256, 32, 32]   bfloat16
2022-03-19 18:12:27.274 | INFO     | blocks.b32.conv1     590080      16       [16, 256, 16, 16]   bfloat16
2022-03-19 18:12:27.274 | INFO     | blocks.b32           -           16       [16, 256, 16, 16]   bfloat16
2022-03-19 18:12:27.274 | INFO     | blocks.b16.skip      65536       16       [16, 256, 8, 8]     bfloat16
2022-03-19 18:12:27.274 | INFO     | blocks.b16.conv0     590080      16       [16, 256, 16, 16]   bfloat16
2022-03-19 18:12:27.274 | INFO     | blocks.b16.conv1     590080      16       [16, 256, 8, 8]     bfloat16
2022-03-19 18:12:27.289 | INFO     | blocks.b16           -           16       [16, 256, 8, 8]     bfloat16
2022-03-19 18:12:27.289 | INFO     | blocks.b8.skip       65536       16       [16, 256, 4, 4]     float32 
2022-03-19 18:12:27.289 | INFO     | blocks.b8.conv0      590080      16       [16, 256, 8, 8]     float32 
2022-03-19 18:12:27.289 | INFO     | blocks.b8.conv1      590080      16       [16, 256, 4, 4]     float32 
2022-03-19 18:12:27.289 | INFO     | blocks.b8            -           16       [16, 256, 4, 4]     float32 
2022-03-19 18:12:27.289 | INFO     | b4.mbstd             -           -        [16, 257, 4, 4]     float32 
2022-03-19 18:12:27.289 | INFO     | b4.conv              592384      16       [16, 256, 4, 4]     float32 
2022-03-19 18:12:27.289 | INFO     | b4.fc                1048832     -        [16, 256]           float32 
2022-03-19 18:12:27.305 | INFO     | b4.out               257         -        [16, 1]             float32 
2022-03-19 18:12:27.305 | INFO     | ---                  ---         ---      ---                 ---     
2022-03-19 18:12:27.305 | INFO     | Total                5973313     352      -                   -       
2022-03-19 18:12:27.305 | INFO     | 
2022-03-19 18:12:27.305 | INFO     | Setting up training phases...
2022-03-19 18:12:27.305 | INFO     | Exporting sample images...
2022-03-19 18:12:40.073 | INFO     | Training for 25000 total_kimg...
2022-03-19 18:12:40.073 | INFO     | 
2022-03-19 18:12:40.089 | INFO     | Start summary writer.
2022-03-19 18:12:57.750 | INFO     | tick 0     total_kimg 0.0      time 40.333200    sec/tick 17.7    sec/total_kimg 1103.83 maintenance 22.7   gpumem 1.55   reserved 3.10  
2022-03-19 18:13:11.575 | INFO     | Evaluating metrics...
2022-03-19 18:14:33.151 | INFO     | fid: 286.04832986921974
2022-03-19 18:21:31.793 | INFO     | tick 1     total_kimg 1.0      time 554.376297   sec/tick 418.6   sec/total_kimg 415.32  maintenance 95.4   gpumem 1.62   reserved 3.10  
2022-03-19 18:28:43.830 | INFO     | tick 2     total_kimg 2.0      time 986.413076   sec/tick 432.0   sec/total_kimg 428.61  maintenance 0.0    gpumem 1.62   reserved 3.10  
2022-03-19 18:35:51.396 | INFO     | tick 3     total_kimg 3.0      time 1413.979094  sec/tick 427.6   sec/total_kimg 424.17  maintenance 0.0    gpumem 1.62   reserved 3.10  
2022-03-19 18:43:02.733 | INFO     | tick 4     total_kimg 4.0      time 1845.316453  sec/tick 431.3   sec/total_kimg 427.91  maintenance 0.0    gpumem 1.62   reserved 3.10  
2022-03-19 18:43:16.580 | INFO     | Evaluating metrics...

这个为使用GTX1070 float16的

2022-03-19 23:00:21.011 | INFO     | Generator                    Parameters  Buffers  Output shape        Datatype
2022-03-19 23:00:21.013 | INFO     | ---                          ---         ---      ---                 ---     
2022-03-19 23:00:21.016 | INFO     | mapping.layers.0             262656      -        [16, 512]           float32 
2022-03-19 23:00:21.018 | INFO     | mapping.layers.1             262656      -        [16, 512]           float32 
2022-03-19 23:00:21.019 | INFO     | mapping.layers.2             262656      -        [16, 512]           float32 
2022-03-19 23:00:21.021 | INFO     | mapping.layers.3             262656      -        [16, 512]           float32 
2022-03-19 23:00:21.023 | INFO     | mapping.layers.4             262656      -        [16, 512]           float32 
2022-03-19 23:00:21.025 | INFO     | mapping.layers.5             262656      -        [16, 512]           float32 
2022-03-19 23:00:21.028 | INFO     | mapping.layers.6             262656      -        [16, 512]           float32 
2022-03-19 23:00:21.030 | INFO     | mapping.layers.7             262656      -        [16, 512]           float32 
2022-03-19 23:00:21.032 | INFO     | mapping                      -           512      [16, 12, 512]       float32 
2022-03-19 23:00:21.035 | INFO     | synthesis.blocks.b4.conv1    721408      16       [16, 256, 4, 4]     float32 
2022-03-19 23:00:21.037 | INFO     | synthesis.blocks.b4          4096        16       [16, 256, 4, 4]     float32 
2022-03-19 23:00:21.040 | INFO     | synthesis.blocks.b8.skip     65536       16       [16, 256, 8, 8]     float32 
2022-03-19 23:00:21.042 | INFO     | synthesis.blocks.b8.conv0    721408      16       [16, 256, 8, 8]     float32 
2022-03-19 23:00:21.044 | INFO     | synthesis.blocks.b8.conv1    721408      16       [16, 256, 8, 8]     float32 
2022-03-19 23:00:21.046 | INFO     | synthesis.blocks.b8          -           16       [16, 256, 8, 8]     float32 
2022-03-19 23:00:21.047 | INFO     | synthesis.blocks.b16.skip    65536       16       [16, 256, 16, 16]   float16 
2022-03-19 23:00:21.049 | INFO     | synthesis.blocks.b16.conv0   721408      16       [16, 256, 16, 16]   float16 
2022-03-19 23:00:21.052 | INFO     | synthesis.blocks.b16.conv1   721408      16       [16, 256, 16, 16]   float16 
2022-03-19 23:00:21.054 | INFO     | synthesis.blocks.b16         -           16       [16, 256, 16, 16]   float16 
2022-03-19 23:00:21.056 | INFO     | synthesis.blocks.b32.skip    65536       16       [16, 256, 32, 32]   float16 
2022-03-19 23:00:21.059 | INFO     | synthesis.blocks.b32.conv0   721408      16       [16, 256, 32, 32]   float16 
2022-03-19 23:00:21.061 | INFO     | synthesis.blocks.b32.conv1   721408      16       [16, 256, 32, 32]   float16 
2022-03-19 23:00:21.063 | INFO     | synthesis.blocks.b32         -           16       [16, 256, 32, 32]   float16 
2022-03-19 23:00:21.064 | INFO     | synthesis.blocks.b64.skip    32768       16       [16, 128, 64, 64]   float16 
2022-03-19 23:00:21.066 | INFO     | synthesis.blocks.b64.conv0   426368      16       [16, 128, 64, 64]   float16 
2022-03-19 23:00:21.068 | INFO     | synthesis.blocks.b64.conv1   213248      16       [16, 128, 64, 64]   float16 
2022-03-19 23:00:21.070 | INFO     | synthesis.blocks.b64         -           16       [16, 128, 64, 64]   float16 
2022-03-19 23:00:21.072 | INFO     | synthesis.blocks.b128.skip   8192        16       [16, 64, 128, 128]  float16 
2022-03-19 23:00:21.075 | INFO     | synthesis.blocks.b128.conv0  139456      16       [16, 64, 128, 128]  float16 
2022-03-19 23:00:21.077 | INFO     | synthesis.blocks.b128.conv1  69760       16       [16, 64, 128, 128]  float16 
2022-03-19 23:00:21.079 | INFO     | synthesis.blocks.b128.torgb  33027       -        [16, 3, 128, 128]   float16 
2022-03-19 23:00:21.081 | INFO     | synthesis.blocks.b128:0      -           16       [16, 64, 128, 128]  float16 
2022-03-19 23:00:21.082 | INFO     | synthesis.blocks.b128:1      -           -        [16, 3, 128, 128]   float16 
2022-03-19 23:00:21.085 | INFO     | ---                          ---         ---      ---                 ---     
2022-03-19 23:00:21.088 | INFO     | Total                        8274627     864      -                   -       
2022-03-19 23:00:21.090 | INFO     | 
2022-03-19 23:00:21.108 | INFO     | 
2022-03-19 23:00:21.111 | INFO     | Discriminator        Parameters  Buffers  Output shape        Datatype
2022-03-19 23:00:21.113 | INFO     | ---                  ---         ---      ---                 ---     
2022-03-19 23:00:21.115 | INFO     | blocks.b128.fromrgb  256         16       [16, 64, 128, 128]  float16 
2022-03-19 23:00:21.117 | INFO     | blocks.b128.skip     8192        16       [16, 128, 64, 64]   float16 
2022-03-19 23:00:21.120 | INFO     | blocks.b128.conv0    36928       16       [16, 64, 128, 128]  float16 
2022-03-19 23:00:21.123 | INFO     | blocks.b128.conv1    73856       16       [16, 128, 64, 64]   float16 
2022-03-19 23:00:21.125 | INFO     | blocks.b128          -           16       [16, 128, 64, 64]   float16 
2022-03-19 23:00:21.127 | INFO     | blocks.b64.skip      32768       16       [16, 256, 32, 32]   float16 
2022-03-19 23:00:21.130 | INFO     | blocks.b64.conv0     147584      16       [16, 128, 64, 64]   float16 
2022-03-19 23:00:21.132 | INFO     | blocks.b64.conv1     295168      16       [16, 256, 32, 32]   float16 
2022-03-19 23:00:21.134 | INFO     | blocks.b64           -           16       [16, 256, 32, 32]   float16 
2022-03-19 23:00:21.136 | INFO     | blocks.b32.skip      65536       16       [16, 256, 16, 16]   float16 
2022-03-19 23:00:21.137 | INFO     | blocks.b32.conv0     590080      16       [16, 256, 32, 32]   float16 
2022-03-19 23:00:21.139 | INFO     | blocks.b32.conv1     590080      16       [16, 256, 16, 16]   float16 
2022-03-19 23:00:21.141 | INFO     | blocks.b32           -           16       [16, 256, 16, 16]   float16 
2022-03-19 23:00:21.143 | INFO     | blocks.b16.skip      65536       16       [16, 256, 8, 8]     float16 
2022-03-19 23:00:21.145 | INFO     | blocks.b16.conv0     590080      16       [16, 256, 16, 16]   float16 
2022-03-19 23:00:21.146 | INFO     | blocks.b16.conv1     590080      16       [16, 256, 8, 8]     float16 
2022-03-19 23:00:21.148 | INFO     | blocks.b16           -           16       [16, 256, 8, 8]     float16 
2022-03-19 23:00:21.151 | INFO     | blocks.b8.skip       65536       16       [16, 256, 4, 4]     float32 
2022-03-19 23:00:21.154 | INFO     | blocks.b8.conv0      590080      16       [16, 256, 8, 8]     float32 
2022-03-19 23:00:21.156 | INFO     | blocks.b8.conv1      590080      16       [16, 256, 4, 4]     float32 
2022-03-19 23:00:21.158 | INFO     | blocks.b8            -           16       [16, 256, 4, 4]     float32 
2022-03-19 23:00:21.160 | INFO     | b4.mbstd             -           -        [16, 257, 4, 4]     float32 
2022-03-19 23:00:21.162 | INFO     | b4.conv              592384      16       [16, 256, 4, 4]     float32 
2022-03-19 23:00:21.164 | INFO     | b4.fc                1048832     -        [16, 256]           float32 
2022-03-19 23:00:21.165 | INFO     | b4.out               257         -        [16, 1]             float32 
2022-03-19 23:00:21.168 | INFO     | ---                  ---         ---      ---                 ---     
2022-03-19 23:00:21.170 | INFO     | Total                5973313     352      -                   -       
2022-03-19 23:00:21.173 | INFO     | 
2022-03-19 23:00:21.175 | INFO     | Setting up training phases...
2022-03-19 23:00:21.178 | INFO     | Training for 25000 total_kimg...
2022-03-19 23:00:21.180 | INFO     | 
2022-03-19 23:00:21.182 | INFO     | Start summary writer.
2022-03-19 23:00:21.699 | INFO     | Prepare fid ref stat cache.
2022-03-19 23:02:34.278 | INFO     | tick 12    total_kimg 13.1     time 142.557234   sec/tick 133.1   sec/total_kimg 132.04  maintenance 9.5    gpumem 3.24   reserved 6.61  
2022-03-19 23:02:45.651 | INFO     | Evaluating metrics...
2022-03-19 23:04:10.113 | INFO     | ema fid: 289.9442185138049 | fid: 276.2114226784195
2022-03-19 23:06:24.014 | INFO     | tick 13    total_kimg 14.1     time 372.293017   sec/tick 133.9   sec/total_kimg 132.83  maintenance 95.8   gpumem 3.24   reserved 6.61  
2022-03-19 23:08:35.925 | INFO     | tick 14    total_kimg 15.1     time 504.203275   sec/tick 131.9   sec/total_kimg 130.86  maintenance 0.0    gpumem 3.25   reserved 6.61  
2022-03-19 23:10:46.356 | INFO     | tick 15    total_kimg 16.1     time 634.636633   sec/tick 130.4   sec/total_kimg 129.39  maintenance 0.0    gpumem 3.25   reserved 6.61  
2022-03-19 23:13:00.914 | INFO     | tick 16    total_kimg 17.2     time 769.193491   sec/tick 134.6   sec/total_kimg 133.48  maintenance 0.0    gpumem 3.25   reserved 6.61  
2022-03-19 23:13:12.126 | INFO     | Evaluating metrics...
ONE_SIX_MIX
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
16进制数据转float工具
05-21
程序员最需要的16进制数据转换工具。包含16进制与int16、uint16、float等数据类型的互相转换，特别适合嵌入式软件。可用于modbus等通信协议的数据包解析。
float16:JavaScript的阶段1半精度浮点
03-29
该库的Float16Array使用Proxy对象，因此从不支持IE11。 npm软件包中的lib/和browser/目录已经构建了JavaScript文件，其目标是 Firefox：最近2个版本和ESR Chrome：最近2个版本 Edge：最后2个版本 Safari：最近2个...
[通俗易懂]float32、float16、bfloat16之间的差异
a61022706的博客
01-03 3581
qlora一般用bfloat16的精度类型进行训练，然而支持bfloat16精度往往需要V100以上的卡（不包括V100）。可惜本人服务器上只有V100类型的卡，想要使用qlora进行训练需要把精度改为float16。指的是使用FP32作为主权重，而在进行前向和后向传播时使用FP16/BF16来提升训练速度，最后在梯度更新阶段再使用FP16/BF16梯度更新FP32主权重。不同的浮点数据类型：float32、float16、bfloat16等，可以称之为精度，而模型大小 = 模型参数量x精度。
bf16 和fp16 ，fp32的区别以及相互转换逻辑
samoyan的博客,记录技术成长~
03-07 4401
总结来说，FP32、FP16和BF16各有其优势和适用场景，选择使用哪种精度格式通常取决于应用对计算速度、精度和数值范围的具体要求。在深度学习领域，FP16和BF16因其在性能和效率上的优势而越来越受到关注。
常见的数据类型 (float16、float32、bfloat16、int8)解释
最新发布
weixin_43013480的博客
04-29 503
在机器学习术语中，FP32 称为全精度 (4 字节)，而 BF16 和 FP16 称为半精度 (2 字节)。除此以外，还有 Int8 (INT8) 数据类型，它是一个 8 位的整型数据表示，可以存储282^828个不同的值 (对于有符号整数，区间为 [-128, 127]，而对于无符号整数，区间为 [0, 255])。
BF16和FP16对比
hellochenlian的专栏
07-30 7213
BF16 是对FP32单精度浮点数截断数据，即用8bit 表示指数，7bit 表示小数。FP16半精度浮点数，用5bit 表示指数，10bit 表示小数与32位相比，采用BF16/FP16吞吐量可以翻倍，内存需求可以减半。但是这两者精度上差异不一样，BF16 可表示的整数范围更广泛，但是尾数精度较小；FP16 表示整数范围较小，但是尾数精度较高。IEEE 浮点运算标准的 2008 年修订版引入了半精度 16 位浮点格式（称为 fp16）作为存储格式。
Pytorch amp(混合精度)的bfloat16和float16
hxxjxw的博客
03-30 3175
bfloat16 格式使用 16 位表示浮点数，其中 1 位用于符号，8 位用于指数，7 位用于尾数。float16 格式使用 16 位表示浮点数，其中 1 位用于符号，5 位用于指数，10 位用于尾数。bfloat16 的表示范围比 float16 更广，但是精度更低。
bfloat16在tensorflow里到底是个啥
weixin_47491668的博客
04-27 3746
前言 最近在学tensorflow，看见里面有一个bfloat16，但这个玩意似乎没人用过，常见的是float32/float64，看谷歌的官方文案介绍说这个东西是float32的截取前16位的版本，但更细的也没多说，只能自己爬咯 bfloat的优点 这张图可以几乎概括bfloat的最大优点，牺牲精度获取范围，与float16相比，befloat16更多的exponent使其范围比float16更加优秀，但较少的fraction使其精度不佳，这个时候肯定有人在想，既然这样，我能不能自定义一下float的
深度学习与bfloat16（BF16）
鱼落池中
08-07 8311
Deep learning has spurred interest in novel floating point formats. Algorithms often don’t need as much precision as standard IEEE-754 doubles or even single precision floats. Lower precision makes it possible to hold more numbers in memory, reducing the t
有关于pytorch单精度bfloat16位
热门推荐
weixin_43301333的博客
10-15 1万+
BF16是brain float的简称（来源于google brain）。不同于普通的单精度浮点数FP16(i.e., torch.float16)，BF16是介于FP16和FP32之间的一种浮点数格式。BF16的指数位比FP16多，跟FP32一样，不过小数位比较少。即，BF16尝试采用牺牲精度的方法，来换取更大的数值空间。
onnxruntime对bfloat16的支持
lbai7134的博客
11-16 1173
onnxruntime对bfloat16的支持
float与16进制转换软件_float_
09-29
float
4字节16进制数转换为float浮点数的原理及Qt算法实现示例
09-21
使用C++位运算实现4字节十六进制数转换为float数，在项目应用中需要此函数，没有找到合适的现成实现代码，所以自己编写实现了一个函数，希望对用着的朋友有帮助
bfloat16‑1.1‑cp38‑cp38‑win32.whl
12-21
python离线安装包，亲测可用
【ncnn】——bfloat16的实现原理
怡宝2号
04-15 3898
ncnn, bfloat16 1. 前言 首先可以看作者的博客用bf16加速ncnn 然后理解什么是bfloat16，维基百科 接下来从c，neon，assembly三个方面看ncnn是如何用bfloat16的 总体思路就是将float32数据类型的二进制表示中的后16直接砍掉 2. c 首先看c中bfloat16和float32之间的转换。 inline unsigned short float32_to_bfloat16(float value) { // 16 : 16 unio.
关于nn.upsample在GPU上无法兼容BFloat16的问题
tanhongweibest的博客
12-18 1977
，nn.upsample在GPU上运行时，与torch.bfloat16会发生冲突，常给出这样的错误：RuntimeError:"upsample_nearest2d_out_frame" not implemented for 'BFloat16'
混合精度是如何加速大模型训练的？
Hanze的博客
05-13 1108
但是，较低的精度可能会影响某些计算的准确性，或者在某些情况下导致舍入误差。在通常的科学计算中，都是以float-64精度（也就是double）计算的，它用来表示数值的位数更多，精度更大，损失更小，在深度学习中为什么我们很少用float-64而是去采用？这里我们发现，混合精度的在测试集上面的表现要比32还高，原因可能与batch小一点是一个道理，引入了一些误差，起到了正则化的效果。32为的最大数值是：340,282,000,000,000,000,000,000,000,000,000,000,000。
【已解决】RuntimeError: “nll_loss_forward_reduce_cuda_kernel_2d_index“ not implemented for ‘Float‘
BetrayFree的博客
10-20 6094
来进行训练模型加水印时报错RuntimeError: "nll_loss_forward_reduce_cuda_kernel_2d_index" not implemented for 'Float'，这个在网上并没有找到解决办法，有的也只是RuntimeError: "nll_loss_forward_reduce_cuda_kernel_2d_index" not implemented for 'int'，也就是说之前因为int类型不兼容出了问题，那这个float报错的原因是什么呢？
numpy版本不对应导致tensorflow出错
如切如磋
01-21 1148
numpy版本不对应导致tensorflow出错 问题描述 tensorflow/python/lib/core/bfloat16.cc:675] Check failed: PyBfloat16_Type.tp_base != nullptr 问题分析：这是因为numpy与tensorflow的版本不对应造成的 解决方案：卸载旧版本的numpy、重装最新版本的numpy pip uninstall numpy pip install numpy ...
随即生成numpy，要求数据格式为BFloat16
03-09
可以使用numpy.random生成随机的BFloat16数据，代码如下： import numpy as np data = np.random.rand(10, 10).astype(np.float16).view(np.uint16).astype(np.float32).view(np.uint32).astype(np.float16) 其中，astype(np.float16)将数据类型转换为BFloat16，view(np.uint16)将BFloat16转换为uint16，astype(np.float32)将uint16转换为float32，view(np.uint32)将float32转换为uint32，最后再将uint32转换为BFloat16。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值