- 博客(2)
- 收藏
- 关注
RSS订阅转载 交叉熵
原文链接：点击打开链接交叉熵（Cross-Entropy）交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。1.什么是信息量？假设X是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈X，我们定义事件X=x0的信息量为： I(x0)=−log(p(x0))，可以理解为，一个事件发生的概率越大，则它所携
2016-12-20 16:49:58
1712
转载 目标函数优化中的三种梯度
原文出处：点击打开链接 考虑一个关于参数矩阵 W 的标量目标函数 J(W) 的极小化问题，即Wopt=argminWJ(W) 通常，给定 W 的一个初值 W0 ，通过“迭代更新”的方法来搜索求解 Wopt 。设第 k步迭代的矩阵为 W(k) ，则 W(k) 的迭代更新方程可表示为W(k+1)=W(k)+ΔW(k)
2016-12-19 15:05:16
8181
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人