[C++][algorithm] 使用C++实现FP16转FP32算法

1 简介

随着计算资源的日益增长，以及对性能和效率的不断追求，浮点数在科学计算、机器学习和图形处理等领域扮演着越来越重要的角色。在这些应用中，浮点数的精度和性能成为了关键因素。传统的单精度浮点数（FP32）虽然广泛使用，但在某些情况下，其精度可能不足以满足需求，而双精度浮点数（FP64）虽然精度更高，却会显著增加计算成本。
在这样的背景下，半精度浮点数（FP16）因其在保持相对高精度的同时能够显著提高计算速度和降低存储需求，开始受到关注。C++作为一种功能强大的编程语言，提供了对FP16和FP32浮点数的原生支持，使得开发者能够灵活地在这两种精度之间进行选择和转换。
本文将深入探讨如何在C++中实现和优化FP16和FP32的算法。首先，我们将介绍浮点数的基本概念，包括它们的表示方法和运算规则。接着，我们将详细讨论FP16和FP32的特点，以及它们在不同场景下的应用。此外，文章还将提供实际的C++代码示例，展示如何在C++中进行FP16和FP32的运算，以及如何利用C++的特性来提高算法的效率。
通过本文，读者将能够理解FP16和FP32在实际编程中的区别和联系，掌握在C++中实现这两种精度浮点数算法的方法，以及如何根据项目需求选择合适的浮点数精度。无论是在学术研究还是工业应用中，这些知识都将为读者提供宝贵的指导。

2 代码实现

参考了RK提供的类型转换代码

#ifndef _RKNN_APP_TYPE_HALF_H_
#define _RKNN_APP_TYPE_HALF_H_

typedef unsigned short half;
typedef unsigned short ushort;
typedef unsigned int uint;

uint as_uint(const float x) {
    return *(uint*)&x;
}
float as_float(const uint x) {
    return *(float*)&x;
}


float half_to_float(half x) { // IEEE-754 16-bit floating-point format (without infinity): 1-5-10, exp-15, +-131008.0, +-6.1035156E-5, +-5.9604645E-8, 3.311 digits
    // printf("1\n");
    const uint e = (x&0x7C00)>>10; // exponent
    // printf("2\n");
    const uint m = (x&0x03FF)<<13; // mantissa
    // printf("3\n");
    const uint v = as_uint((float)m)>>23; // evil log2 bit hack to count leading zeros in denormalized format
    // printf("4\n");
    return as_float((x&0x8000)<<16 | (e!=0)*((e+112)<<23|m) | ((e==0)&(m!=0))*((v-37)<<23|((m<<(150-v))&0x007FE000))); // sign : normalized : denormalized
}


typedef union suf32
{
  int      i;
  unsigned u;
  float    f;
} suf32;

half float_to_half(float x)
  {
    suf32 in;
    in.f          = x;
    unsigned sign = in.u & 0x80000000;
    in.u ^= sign;
    ushort w;

    if (in.u >= 0x47800000)
      w = (ushort)(in.u > 0x7f800000 ? 0x7e00 : 0x7c00);
    else {
      if (in.u < 0x38800000) {
        in.f += 0.5f;
        w = (ushort)(in.u - 0x3f000000);
      } else {
        unsigned t = in.u + 0xc8000fff;
        w          = (ushort)((t + ((in.u >> 13) & 1)) >> 13);
      }
    }

    w = (ushort)(w | (sign >> 16));

    return w;
}



void float_to_half_array(float *src, half *dst, int size)
{
    for (int i = 0; i < size; i++)
    {
        dst[i] = float_to_half(src[i]);
    }
}

void half_to_float_array(half *src, float *dst, int size)
{
    for (int i = 0; i < size; i++)
    {
        dst[i] = half_to_float(src[i]);
    }
}

#endif