线性回归与逻辑回归损失函数推导

损失函数推导

线性回归

首先损失函数是为了衡量模型预测的数据与真实数据之间的区别，那么问题来了为什么是平方损失，而不是绝对值损失，四次方损失。

一个很浅显的理解：二次方简单,导数是线性的且连续，而且离预测值远的值会被放大。

推导

假设模型已被训练到最佳，这时候与真实值必然会存在一些误差。比如房子供应商的心情突然好了，进行促销。这些都是不可知的，但所有的误差叠加到一起，
可以将其看做成一个高斯分布。也就是说所有点的误差$ϵ\sim \mathcal{N}(0,{\sigma }^2)$，
误差为x的概率$P(ϵ=x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{x^2}{-2{\sigma }^2}}$
所以每个${XX}^i$因为误差取得${yy}^i$的概率$P({yy}^i|{XX}^i)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{({XX}^i\theta \theta -{yy}^i{)}^2}{-2{\sigma }^2}}$。
以上都是对一训练好的模型来说的。

而对于$\theta \theta$未确定来说，${XX}^i$因为误差取得${yy}^i$的概率$P({yy}^i|{XX}^i;\theta \theta )=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{({XX}^i\theta \theta -{yy}^i{)}^2}{-2{\sigma }^2}}$
这时$y^i$都发生的概率应为$P(yy|XX;\theta \theta )$，将其设为$\mathcal{L}(\theta \theta )$

$$\begin{array}{rcl}\mathcal{L}(\theta \theta )& =& P(yy|XX;\theta \theta )\\ & =& {\prod }_{i=1}^{n}P({yy}^i|{XX}^i;\theta \theta )\\ & =& {\prod }_{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{({XX}^i\theta \theta -{yy}^i{)}^2}{2{\sigma }^2}}\end{array}$$

如上式，所表示的是$yy$发生的概率，只需要求能使得这个式子取得最大值的$\theta \theta$即可，观此式，为积式，而且还有许多我们可以通过$\log$函数将其转化为和式并去掉指数函数。设$l(\theta \theta )=\log (\mathcal{L}(\theta \theta ))$

$$\begin{array}{rcl}l(\theta \theta )& =& \log (\mathcal{L}(\theta \theta ))\\ & =& \log ({\prod }_{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{({XX}^i\theta \theta -{yy}^i{)}^2}{2{\sigma }^2}})\\ & =& {\sum }_{i=1}^n(\log (\frac{1}{\sqrt{2\pi }\sigma })+\log (e^{-\frac{({XX}^i\theta \theta -{yy}^i{)}^2}{2{\sigma }^2}}))\\ & =& n\log (\frac{1}{\sqrt{2\pi }\sigma })+{\sum }_{i=1}^n\frac{({XX}^i\theta \theta -{yy}^i{)}^2}{2{\sigma }^2}\\ & =& n\log (\frac{1}{\sqrt{2\pi }\sigma })+\frac{{\sum }_{i=1}^n({XX}^i\theta \theta -{yy}^i{)}^2}{2{\sigma }^2}\end{array}$$

由此得到了函数${\sum }_{i=1}^n(y^i-X^i\theta {)}^2$，即$(XX\theta \theta -yy{)}^T(XX\theta \theta -yy)$，且只需要求函数的最小值，就是求$\mathcal{L}(\theta \theta )$的最大值。

即：
$J(\theta \theta )=(XX\theta \theta -yy{)}^T(XX\theta \theta -yy)$

这时求其梯度得

$$\begin{array}{rcl}\frac{\partial J(\theta \theta )}{\partial \theta \theta }& =& \frac{\partial ((XX\theta \theta -yy{)}^T(XX\theta \theta -yy))}{\partial \theta \theta }\\ & \stackrel{xx=XX\theta \theta -yy}{=}& (\frac{\partial {xx}^{T}xx}{\partial xx}{)}^T\frac{\partial (XX\theta \theta -yy)}{\partial \theta \theta }\\ & =& (2xx{)}^{T}XX\\ & =& 2(XX\theta \theta -yy{)}^{T}XX\end{array}$$

逻辑回归

$$h({XX}^i)=\frac{1}{1+e^{-{XX}^i\theta \theta }}$$

求逻辑回归线性回归同理:

$$\begin{array}{rcl}l(\theta \theta )& =& \log (\mathcal{L}(\theta \theta ))\\ & =& \log (P(yy|XX;\theta \theta ))\\ & =& \log ({\prod }_{i=1}^{n}P({yy}^i|{XX}^i;\theta \theta ))\\ & =& \log ({\prod }_{i=1}^n{h}_{\theta \theta }(XX{)}^{{yy}^i}(1-h_{\theta \theta }(XX){)}^{1-{yy}^i})\\ & =& {\sum }_{i=1}^n({yy}^i\log (h_{\theta \theta }(XX))+(1-{yy}^i)\log (1-h_{\theta \theta }(XX)))\end{array}$$

令
$$J(\theta \theta )=-l(\theta \theta )$$

对其求梯度得

$$\begin{array}{rcl}\frac{\partial J(\theta \theta )}{\partial \theta \theta }& =& \frac{-{\sum }_{i=1}^n({yy}^i\log (h_{\theta \theta }(XX))+(1-{yy}^i)\log (1-h_{\theta \theta }(XX)))}{\partial \theta \theta }\\ & =& -{\sum }_{i=1}^n\frac{{yy}^i\log (h)+(1-{yy}^i)\log (1-h)}{\partial h}\frac{h(\theta \theta )}{\partial \theta \theta }\\ & =& -{\sum }_{i=1}^n(\frac{{yy}^i}{h}-\frac{1-{yy}^i}{1-h})h(1-h){XX}^i\\ & =& -{\sum }_{i=1}^n({yy}^i(1-h)-h(1-{yy}^i)){XX}^i\\ & =& {\sum }_{i=1}^n(h_{\theta \theta }({XX}^i)-{yy}^i){XX}^i\\ & =& (\left[\begin{array}{c}⋮\\ h_{\theta \theta }({XX}^i)\\ ⋮\end{array}\right]-yy{)}^{T}XX\end{array}$$

为什么是sigmoid

在线性回归的时候我们假设了误差$ϵ$，将其视为一个高斯分布，得到每个${yy}^i$的概率，
为什么到了逻辑回归就不用假设，而是$h_{\theta \theta }$直接得到的就是概率呢？是通过推导得出来的还是只是因为此函数比较优异？

见链接