![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
有趣的数学
因缺思厅
笺简检渐
这个作者很懒,什么都没留下…
展开
-
交叉熵+softmax的优势
交叉熵的一般形式是:−Σp∗log(q)-Σ{p*log(q)}−Σp∗log(q)其中p一般指的是真实情况概率(标签),q指的是神经网络计算出的概率(结果)为了一般化,这里特别规定好:输入的训练样本标签为Y:[Y0,Y1,...,Yn]神经网络计算的结果为A:[A0,A1,...,An]交叉熵公式中对数的底数为e,此时log是ln输入的训练样本标签为Y:[Y_0,Y_1,...,Y...原创 2019-12-24 22:54:33 · 458 阅读 · 0 评论 -
一种有趣的方法求sigmoid导数
我相信了解sigmoid函数的朋友都能很容易求出sigmoid的导数,今天我这个文章是想记录网上看到的一种我之前没想过的思路:解方程求导。首先写一下sigmoid。令S(x)=sigmoid函数,有:S(x)=11+e−xS(x)=\frac{1}{1+e^{-x}}S(x)=1+e−x1令f(x)=S(x)的倒数:f(x)=1S(x)=1+e−xf(x)=\frac{1}{S(x...原创 2019-12-23 10:45:26 · 373 阅读 · 0 评论 -
softmax的导数
softmax的原函数为:S(xi)=exiex0+ex1+...+exn=exi∑j=0nexjS(x_i)=\frac{e^{x_i}}{e^{x_0}+e^{x_1}+...+e^{x_n}}=\frac{e^{x_i}}{\sum_{j=0}^{n}e^{x_j}}S(xi)=ex0+ex1+...+exnexi=∑j=0nexjexi和普通的函数有点不太一样...原创 2019-12-22 20:31:51 · 636 阅读 · 0 评论