softmax单元_Softmax函数的设计优化及硬件实现方法及系统与流程

本发明设计深度神经网络分类器领域，具体设计一种Softmax函数的设计优化及硬件实现方法及系统。

背景技术：

Softmax函数可以完成标量到概率的转换，被广泛应用在深度神经网络分类器中的输出层。相比于其他只需要简单加法与乘法的层级如卷积层、池化层、全连接层，Softmax层需要较为复杂的指数运算和除法运算，这给Softmax函数的硬件设计带来相应困难。本发明根据函数性质，拆分指数运算的查找表以减少存储资源，把除法化成一次求倒运算和多次乘法运算以减小计算量。

时下，多分类问题作为深度学习的重要应用有着分类类别越来越多，精度要求越来越高的应用趋势。针对大量输入数据个数、广输入范围与高精度要求，本发明通过两遍输入的输入模式进行计算以减少片上存储资源、通过可配置查找表以应对多种输入定点化方案、通过硬件决定输出定点化方案以提高精度。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种Softmax函数的设计优化及硬件实现方法及系统。

根据本发明提供的一种Softmax函数的设计优化及硬件实现方法，包括如下步骤：

第一输入步骤：进行第一遍输入；

第一指数运算步骤：针对多个输入数据，通过查找表实现指数运算；

累加步骤：对多个输入数据的指数运算结果求和，得到分母；

求倒步骤：对分母求倒得出分母的倒数；

第二输入步骤：进行第二遍输入；

第二指数运算步骤：通过查找表实现指数运算，计算出分子；