学习更多相关知识,关注博主知乎账号,用户名Trustintruth https://www.zhihu.com/people/suo-yi-xin-90/activities
近期一来希望趁着假期可以充实一下自己,二来想做一些算法的东西,最终决定试一试水深度学习中的激活函数。计划用一段时间将这个不算是很难得算法使用FPGA实现出来。
在收集资料的阶段,在博客和知乎中找了许多许多的资料,在此推荐一篇知乎的专栏,非常适合像我一样的从零开始接触这方面的人来理解SoftMax算法。
https://zhuanlan.zhihu.com/p/25723112
话不多说,我们开始进入正题,在前人的讲解下为大家再嚼一嚼SoftMax这块骨头。
首先,对于SoftMAx这个算法本身还是不算非常难的,对于其实现的功能,引用知乎专栏里的一段话
引自知乎 例如在取max时候,A与B,如果A大于B,那么取A。但如果我希望分值大的那部分经常取到,而分值小的一部分偶尔会取到。那么我使用softmax就可以了。依然是A和B,A>B,按照softmax来算取A和B的概率,那么A的softmax值大于B的,所以A会经常取到,而B也会偶尔取到。概率与他们本来的大小有关。
这段话很清楚地把函数的作用告诉了我们,即将输入的数据映射到(