机器学习：线性回归和逻辑回归的区别

线性回归：根据几组已知数据 (x(1),y(1)),(x(2),y(2)),...,(x(i),y(i)),...,(x(n),y(n)) 和拟合函数 hθ(x)=θTx 训练其中未知参数 θ=[θ1,θ2,...,θi,...,θn] ，使得拟合损失

ℓ(θ)=1/2∑i=1m(hθ(x(i))−y(i))2=1/2∑i=1m(θTx(i)−y(i))2

达到最小。然后用所得的拟合函数进行预测。 
逻辑回归 ： (x(1),y(1)),(x(2),y(2)),...,(x(i),y(i)),...,(x(n),y(n))，y(i)∈(0,1) 和拟合函数 g(z)=11+e−z,z=hθ(x)=θTx 训练其中未知参数 θ=[θ1,θ2,...,θi,...,θn] 使得对数似然函数

ℓ(θ)=log∏i=1mp(y(i)|x(i);θ)

最大。然后用所得的拟合函数进行二分类。 
两者都是回归，步骤和原理看起来很相似，到底有什么地方不同呢？请看下表。

	线性回归	逻辑回归
目的	预测	分类
y(i)	未知	{0,1}
函数	拟合函数	预测函数
参数计算方式	最小二乘	最大似然估计

下面具体解释一下： 
1. 拟合函数和预测函数什么关系呢？其实就是将拟合函数做了一个逻辑函数的转换，转换后使得 y(i)∈(0,1) ； 
2. 最小二乘和最大似然估计可以相互替代吗？回答当然是不行了。我们来看看两者依仗的原理：最大似然估计是计算使得数据出现的可能性最大的参数，依仗的自然是Probability。而最小二乘是计算误差损失。因此两者不可混淆