![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
疑惑解答
文章平均质量分 64
这一炉能成
在某厂工作的不知名算法工程师,公众号:深度学习指南
展开
-
为什么交叉熵的梯度公式跟最小二乘法一样?
引言之前一致不明白,为什么交叉熵损失函数在进行梯度计算的时候的公式跟最小二乘是一致的。抱着这样的疑问,我对交叉熵损失函数进行的偏微分,进行验证。正文最小二乘法损失函数J(θ)=12m∑im(h(xi)−yi)2J(\theta)=\frac{1}{2m}\sum_i^m(h(x^i)-y^i)^2J(θ)=2m1i∑m(h(xi)−yi)2此时h(x)=wx+bh(x)=wx+bh(x)=wx+b,所以∂J(θ)∂θj=1m∑im(h(xi)−yi)xji\frac{\partial J(\原创 2021-10-22 11:58:44 · 323 阅读 · 0 评论 -
为什么交叉熵,极大似然,最小二乘能做损失函数?
最小二乘Loss=1m∑i=1m(f(xi)−yi)2Loss=\frac{1}{m}\sum_{i=1}^m(f(x_i)-y_i)^2Loss=m1i=1∑m(f(xi)−yi)2极大似然估计法如何做损失函数?什么是极大似然估计法?似然值是指真实的情况已经发生,我们假设事件有很多概率模型,然后根据概率模型计算真实情况发生的概率。这个概率就叫似然值。假设投硬币事件,现实世界投十次硬币,7正三反。我们假设理念世界有三个概率模型,分别为正0.1反0.9正0.7反0.3正0.8反0.原创 2021-10-19 22:47:43 · 179 阅读 · 0 评论 -
关于在numpy张量的变化经常出现的-1作用简述
自动推断在python当中,我们通常用-1,都是指代最后一列。比如列表x=[1,2,3,4]x[-1]==4 #True但是在numpy当中,我们对张量进行变换。-1经常代表自动推断。比如import numpy as npx = np.arange(12).reshape(2,6) # x.shape为(2,6)x = x.reshape(2, 3, -1) #此时自动推断,x的shape为(2,3,2)...原创 2021-06-01 16:49:33 · 252 阅读 · 0 评论