线性回归:
回归和分类的区别是要预测的目标函数是连续值
f
(
x
)
=
w
x
+
b
f(x) = wx + b
f(x)=wx+b
w
=
(
w
1
;
w
2
;
…
…
;
w
m
)
w = (w1; w2;……;wm)
w=(w1;w2;……;wm)
w
w
w和
b
b
b通过最小二乘法确定,基于预测值和真实值的均方差最小化估计参数
令上式为0即可求出
w
w
w和
b
b
b的最优解如下:
广义线性回归:
当问题为非线性问题时,将线性回归的预测值做一个非线性函数变化去逼近真实值
理论上,
g
(
x
)
g(x)
g(x)可以为任意函数
逻辑斯蒂回归:
对于分类问题,只要将预测的结果形成映射即可,以二分类为例
但是这个函数时不连续的,所以需要寻找一个连续的函数
补充知识:
似然函数:
统计学中,似然函数是一种关于统计模型参数的函数。给定输出x时,关于参数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X的概率:L(θ|x)=P(X=x|θ)。
极大似然估计:
它是建立在极大似然原理的基础上的一个统计方法,极大似然原理的直观想法是,一个随机试验如有若干个可能的结果A,B,C,… ,若在一次试验中,结果A出现了,那么可以认为实验条件对A的出现有利,也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球,1个黑球;乙箱中有1个白球.99个黑球。现随机取出一箱,再从抽取的一箱中随机取出一球,结果是黑球,这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多,这时我们自然更多地相信这个黑球是取自乙箱的。一般说来,事件A发生的概率与某一未知参数 有关, 取值不同,则事件A发生的概率 也不同,当我们在一次试验中事件A发生了,则认为此时的 值应是t的一切可能取值中使 达到最大的那一个,极大似然估计法就是要选取这样的t值作为参数t的估计值,使所选取的样本在被选的总体中出现的可能性为最大。
极大似然估计,只是一种概率论在统计学的应用,它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。极大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值。
参考资料:
https://blog.csdn.net/sinat_29957455/article/details/78944939
https://baike.baidu.com/item/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0
中国地质大学课件