线性回归:根据几组已知数据 (x(1),y(1)),(x(2),y(2)),...,(x(i),y(i)),...,(x(n),y(n)) 和拟合函数 hθ(x)=θTx 训练其中未知参数 θ=[θ1,θ2,...,θi,...,θn] ,使得拟合损失
ℓ(θ)=1/2∑i=1m(hθ(x(i))−y(i))2=1/2∑i=1m(θTx(i)−y(i))2
达到最小。然后用所得的拟合函数进行预测。
逻辑回归 : (x(1),y(1)),(x(2),y(2)),...,(x(i),y(i)),...,(x(n),y(n)),y(i)∈(0,1) 和拟合函数 g(z)=11+e−z,z=hθ(x)=θTx 训练其中未知参数 θ=[θ1,θ2,...,θi,...,θn] 使得对数似然函数
ℓ(θ)=log∏i=1mp(y(i)|x(i);θ)
最大。然后用所得的拟合函数进行二分类。
两者都是回归,步骤和原理看起来很相似,到底有什么地方不同呢?请看下表。
线性回归 | 逻辑回归 | |
目的 | 预测 | 分类 |
y(i) | 未知 | {0,1} |
函数 | 拟合函数 | 预测函数 |
参数计算方式 | 最小二乘 | 最大似然估计 |
下面具体解释一下:
1. 拟合函数和预测函数什么关系呢?其实就是将拟合函数做了一个逻辑函数的转换,转换后使得
y(i)∈(0,1)
;
2. 最小二乘和最大似然估计可以相互替代吗?回答当然是不行了。我们来看看两者依仗的原理:最大似然估计是计算使得数据出现的可能性最大的参数,依仗的自然是Probability。而最小二乘是计算误差损失。因此两者不可混淆