线性回归和逻辑回归的区别

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yunhaitianguang/article/details/43877591

线性回归:根据几组已知数据(x(1),y(1)),(x(2),y(2)),...,(x(i),y(i)),...,(x(n),y(n))和拟合函数hθ(x)=θTx训练其中未知参数θ=[θ1,θ2,...,θi,...,θn],使得拟合损失

(θ)=1/2i=1m(hθ(x(i))y(i))2=1/2i=1m(θTx(i)y(i))2
达到最小。然后用所得的拟合函数进行预测。
逻辑回归(x(1),y(1)),(x(2),y(2)),...,(x(i),y(i)),...,(x(n),y(n))y(i)(0,1)和拟合函数g(z)=11+ez,z=hθ(x)=θTx训练其中未知参数θ=[θ1,θ2,...,θi,...,θn]使得对数似然函数
(θ)=logi=1mp(y(i)|x(i);θ)
最大。然后用所得的拟合函数进行二分类。
两者都是回归,步骤和原理看起来很相似,到底有什么地方不同呢?请看下表。

线性回归 逻辑回归
目的预测分类
y(i)未知{0,1}
函数拟合函数预测函数
参数计算方式最小二乘最大似然估计

下面具体解释一下:
1. 拟合函数和预测函数什么关系呢?其实就是将拟合函数做了一个逻辑函数的转换,转换后使得y(i)(0,1)
2. 最小二乘和最大似然估计可以相互替代吗?回答当然是不行了。我们来看看两者依仗的原理:最大似然估计是计算使得数据出现的可能性最大的参数,依仗的自然是Probability。而最小二乘是计算误差损失。因此两者不可混淆(笑)。

建议看这个之前先弄清楚两者定义。初学菜鸟,有什么不对欢迎指正。

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页