深度学习是否需要全部float 32类型

1. 是否需要全部float32

从硬件实现的角度来看，8位乘法器与32位相比功耗位1/18，面积位1/27，速度则为4倍，能更多的使用低位宽的数据类型当然更好。现在很多科学计算、深度学习中常常采用的是float32类型，但是深度学习是否全部都需要是float 32类型？

答案是否定的，并不需要。

有人可能会担心，说如果改用更低位宽的数据类型是否会导致精度降低，理论上来说是会降低精度，但是这个精度有时候可能在我们可以接受的范围内。如下图所示是一个识别手写数字的二维可视化图，可以看的不同类别之间存在一定的间距，这些“大间距”也就意味着可以接受一定的非精确计算。

 

2. 如何设计低位宽

在深度学习计算中，不同的数据对于位宽的需求是不同的，以前都用32位浮点，但是每一层数据到底用什么样的位宽才合适？

以AlexNet网络为例，如下图所示。比如AlexNet_Conv1，数据分布比较平缓（如红色线条），用8位定点即可，但是对于分布较为陡峭的AlexNet_fc0需要使用32位。：