机器学习中最小二乘法和逻辑斯蒂回归最大似然估计最小二乘法

最小二乘法
在构建线性回归模型时，我们通过最小二乘法获得均方误差（损失函数），我们需要得到均方误差的最小值，从而真实值与假设值的差异也是最小的，所以可以得到最合适的回归系数W。

当H的导数为0时得到最小值，通过我们对导数求导的计算推导可得
公式：w*(x*x^T)=XY
xx^T可逆的时候 可得最合适w
但是当xx^T不可逆的时候，m<n w的最合适值无法求得。
这时候我们要思考解决办法。
这是我们训练出的模型可能会出现过拟合问题，泛化能力减弱。
这是我们通过根据样本的特征，用正则化岭回归或者Lasso回归解决过拟合问题

服从逻辑斯蒂分布的sigmoid函数
先带大家了解一下逻辑斯蒂分布的sigmoid函数，sigmoid函数是一种主要解决二分类问题的函数，就是要把一个回归问题通过阀值进行二分类。
sigmoid函数它是任意阶可导的凸函数，
sigmoid函数图像


逻辑斯蒂回归
逻辑斯蒂回归实际上是二分类问题，逻辑斯蒂回归是针对线性可分问题的一种易于实现而且性能优异的分类模型，是使用最为广泛的分类模型之一。逻辑斯蒂与线性回归类似，寻找一个合适的函数进行分类，这个函数就我们要找的分类函数，这个过程非常关键，我们要对我们的数据有一定了解通过数据来预测函数的大概形式，是使用线性函数还是非线性函数。
然后构造损失函数，损失函数是预测输出与训练特征的与真实数据的偏差，我们要保证二者的偏差保持最小，以求得最优得模型。
假设某件事发生的概率为p，那么这件事不发生的概率为(1-p)，我们称p/(1-p)为这件事情发生的几率。取这件事情发生几率的对数，定义为logit§，所以logit§为。

最大似然估计
在线性方程中
因为逻辑斯蒂函数中输出的值保持0和1所以我们用最小二乘法的方法求出w和b方法明显无法得到我们想要的目标值，这个时候我们选择最大似然估计来解决这个问题，
最大似然估计将事件变成概率事件来解决。
最大似然估计推导的一个概率问题，即X1对应y1这件事发生的概率P1，特征X2对应标签y2这件事发生的概率为P2，…，Xm对应标签ym这件事的概率Pm;
则所有的特征和标签都对应发生的总概率是：P = P1p2…Pm
最大似然估计求的求是P的最大值
现在问题关键是P取最大值的时候W的取值情况,，这个过程就是极大似然估计。
1.构建损失函数（损失函数）
F(Z) = 1/(1+e^(-z)) =>F(x) = 1/(1+e^(-W*XT - b))
似然函数,即Xi对应yi的概率
P(Xi,Yi) = [F(Xi)^{Yi]*[(1-F(Xi))}(1-Yi)]
将所有的样本带入
P(X1,Y1) = [F(X1)^{Y1]*[(1-F(X1))}(1-Y1)]
P(X2,Y2) = [F(X2)^{Y2]*[(1-F(X2))}(1-Y2)]
…
P(Xm,Ym) = [F(Xm)^{Ym]*[(1-F(Xm))}(1-Ym)]
这m个是相互独立事件，则他们同时发生的概率是：
L(w,b) = P(X1,Y1)P(X2,Y2)…P(Xm,Ym)
= [F(X1)^{Y1]*[(1-F(X1))}(1-Y1)][F(X2)^{Y2]*[(1-F(X2))}(1-Y2)]…*[F(Xm)^{Ym]*[(1-F(Xm))}(1-Ym)] ，这个函数就是这个数据模型的似然函数（也是机器学习的损失函数）

2.求似然函数L(w,b)的最大值
如果对L(W,b)求导或者求偏导计算过程非常复杂
例如：(wv)’ = w’v + wv’ (wvp)’ = w’vp+wv’p + wvp’
两边同时取自然对数
l(w,b)=lnL(W,b)=Ln{[F(X1)^{Y1]*[(1-F(X1))}(1-Y1)][F(X2)^{Y2]*[(1-F(X2))}(1-Y2)]…[F(Xm)^{Ym]*[(1-F(Xm))}(1-Ym)] } = ln[F(X1)^{Y1]*[(1-F(X1))}(1-Y1)] + ln[F(X2)^{Y2]*[(1-F(X2))}(1-Y2)] + …+[F(Xm)^{Ym]*[(1-F(Xm))}(1-Ym)] = [Y1lnF(X1) +Y2lnF(X2) + …+YmlnF(Xm) ] + [(1-Y1)*ln(1-F(X1)) + (1-Y2)*ln(1-F(X2))+…+(1-Ym)*ln(1-F(Xm))]
方案一：求导
l(W,b)’ = 0
就可以得到W的极大似然估计值，这个极大似然估计值就是最大似然估计值

方案二：梯度下降