问题描述
对逻辑回归交叉熵损失函数
J ( θ ) = − ∑ i = 1 m [ y i ln y i ^ + ( 1 − y i ) ln ( 1 − y i ^ ) ] J(\bm{\theta})=-\sum_{i=1}^{m}\left[y_i\ln\hat{y_i}+(1-y_i)\ln\left(1-\hat{y_i}\right)\right] J(θ)=−i=1∑m[yilnyi^+(1−yi)ln(1−yi^)]
求梯度，其中 m m m 为样本个数， y i y_i yi 为第 i i i 个样本的标签， y i ^ \hat{y_i} yi^ 为第 i i i 个样本的预测值，有
y i ^ = σ ( z i ) = 1 1 + e z i , z i = θ T x i \hat{y_i}=\sigma(z_i)=\frac{1}{1+e^{z_i}},\qquad z_i = \bm{\theta}^T\textbf{x}_i yi^=σ(zi)=1+ezi1,zi=θTxi
则该损失函数对 θ \bm{\theta} θ 求梯度有
∇ J ( θ ) = − ∑ i = 1 m ( y i − y i ^ ) x i \nabla J(\bm{\theta})= -\sum_{i=1}^{m}\left(y_i-\hat{y_i}\right)\textbf{x}_i ∇J(θ)=−i=1∑m(yi−
最低0.47元/天 解锁文章
1713
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
