算法推导
to do 1+1
自然语言处理 机器学习 深度学习 大家相互交流学习
展开
-
softmax函数的改进
softmax函数的运算涉及到了指数函数的计算,故对于计算机而言就存在了一个 “溢出问题”。因为指数函数的增长容易变得非常大,这些超大值之间进行除法,结果会出现 nan(not a number)计算机在进行数值运算时,数值的大小必须在4字节或者8字节的有效数据带宽内。故需要对softmax函数进行改进:从上述公式推导来看,在分子分母同乘以C常数,结果不变。故在softmax函数的指数运算中...原创 2019-11-06 15:20:48 · 1384 阅读 · 0 评论 -
神经网络中BP算法的推导
神经网络BP算法的推导有关BP算法推导的文章数不胜数,但是好多只讲到了单样本的BP算法的推导,有些虽然讲到了多样本的BP算法的推导,但是没讲清楚甚至是讲错了的都有一些。1. 单样本BP算法推导关于单样本BP算法的推导,我以两层神经网络为例,即整个神经网络包含输入层、隐含层(一层)、输出层。如下其中a[0]的计算如下假定layer_1和layer_2的激活函数都是sigmoid函数,假设...原创 2019-04-13 10:39:11 · 920 阅读 · 0 评论