线性学习（一）

线性回归：
回归和分类的区别是要预测的目标函数是连续值
$$f(x)=wx+b$$

$$w=(w1;w2;\dots \dots ;wm)$$
$w$和$b$通过最小二乘法确定，基于预测值和真实值的均方差最小化估计参数

令上式为0即可求出$w$和$b$的最优解如下：

广义线性回归：
当问题为非线性问题时，将线性回归的预测值做一个非线性函数变化去逼近真实值

理论上，$g(x)$可以为任意函数
逻辑斯蒂回归：
对于分类问题，只要将预测的结果形成映射即可，以二分类为例

但是这个函数时不连续的，所以需要寻找一个连续的函数


补充知识：
似然函数：
统计学中，似然函数是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)。

极大似然估计：
它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是，一个随机试验如有若干个可能的结果A，B，C，… ，若在一次试验中，结果A出现了，那么可以认为实验条件对A的出现有利，也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球，1个黑球；乙箱中有1个白球．99个黑球。现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这时我们自然更多地相信这个黑球是取自乙箱的。一般说来，事件A发生的概率与某一未知参数 有关， 取值不同，则事件A发生的概率 也不同，当我们在一次试验中事件A发生了，则认为此时的 值应是t的一切可能取值中使 达到最大的那一个，极大似然估计法就是要选取这样的t值作为参数t的估计值，使所选取的样本在被选的总体中出现的可能性为最大。
极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

参考资料：
https://blog.csdn.net/sinat_29957455/article/details/78944939
https://baike.baidu.com/item/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0
中国地质大学课件