一，熵(信息熵)
1.定义
信息熵描述的是对随机变量不确定性的度量，不确定性越大，信息熵值就越大。
2.公式
L θ ( x ) = − p ( x ) l o g ( p ( x ) ) L_\theta(x) =- p(x)log(p(x)) Lθ(x)=−p(x)log(p(x))
二，交叉熵
2.公式
L θ ( x ) = − p ( x ) l o g ( q ( x ) ) L_\theta(x) =-p(x)log(q(x)) Lθ(x)=−p(x)log(q(x))
3.机器学习中的交叉熵
L θ ( x ) = − 1 m ∑ i = 1 m ( y i l o g h θ ( x i ) + ( 1 − y ) i l o g ( 1 − h θ ( x i ) ) ) L_\theta(x) =- \frac{1}{m}\sum_{i=1}^{m}(y^{i}logh_\theta(x^i)+(1-y)^{i}log(1-h_\theta(x^i))) Lθ(x)=−m1∑i=1m(yiloghθ(xi)+(1−y)ilog(1−hθ(xi)))
5492
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
