![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
有趣的数学
因缺思厅
笺简检渐
这个作者很懒,什么都没留下…
展开
-
交叉熵+softmax的优势
交叉熵的一般形式是: −Σp∗log(q) -Σ{p*log(q)} −Σp∗log(q) 其中p一般指的是真实情况概率(标签),q指的是神经网络计算出的概率(结果) 为了一般化,这里特别规定好: 输入的训练样本标签为Y:[Y0,Y1,...,Yn]神经网络计算的结果为A:[A0,A1,...,An]交叉熵公式中对数的底数为e,此时log是ln 输入的训练样本标签为Y:[Y_0,Y_1,...,Y...原创 2019-12-24 22:54:33 · 458 阅读 · 0 评论 -
一种有趣的方法求sigmoid导数
我相信了解sigmoid函数的朋友都能很容易求出sigmoid的导数,今天我这个文章是想记录网上看到的一种我之前没想过的思路:解方程求导。 首先写一下sigmoid。令S(x)=sigmoid函数,有: S(x)=11+e−x S(x)=\frac{1}{1+e^{-x}} S(x)=1+e−x1 令f(x)=S(x)的倒数: f(x)=1S(x)=1+e−x f(x)=\frac{1}{S(x...原创 2019-12-23 10:45:26 · 374 阅读 · 0 评论 -
softmax的导数
softmax的原函数为: S(xi)=exiex0+ex1+...+exn=exi∑j=0nexj S(x_i)=\frac{e^{x_i}}{e^{x_0}+e^{x_1}+...+e^{x_n}} =\frac{e^{x_i}}{\sum_{j=0}^{n}e^{x_j}} S(xi)=ex0+ex1+...+exnexi=∑j=0nexjexi 和普通的函数有点不太一样...原创 2019-12-22 20:31:51 · 637 阅读 · 0 评论