机器学习-3 logisitic 回归

LogisticRegression / 逻辑斯特回归

Logistic回归解决的是当预测的值为两类bool的问题,比如邮件是否是垃圾、pv是否作弊等;那先的看看两类问题用之前的线性回归能有啥问题;

如上两图,左边预测回归的是连续实数,趋势是单调的;

而右边的预测的是bool值,这是应该叫做分类变量,如果依然用线性回归,结果如y1,看得出,由于没有单调的趋势,因此用单调的线性分类时,会导致如圈中的1被分为0;那有没有一个假设函数,能不能cover这种情况,有。如y2一样的函数,称为logistic函数,较好的解决这个问题,也叫sigmoid函数,图像很漂亮,其函数表达式为:


z->正无穷,h收敛1;z->负无穷,h收敛0;

通常将0.5做为分类阈值,即z >0,y -> 1, z < 0, y -> 0;

另外,这个h的范围是[0,1],其值可以认为是概率probability,这个使得输出值有意义的,另外是条件概率,即z的条件下,y=1的概率,用的时候可以根据对实际准招的需求,适当调整分类阈值,默认是0.5;

DecisionBoundary / 判决边界

啥时判决边界,因为是分类问题,那类与类之间就有一个相对最好的分界,如下图:

红叉和篮圈这两类分界区间中间的那条线就称为判决边界,说白了就是假设函数h(z)的z,判决边界就是h=0.5处;
这是线性分类,如上图的h为:

根据logistic函数的特点,x>0,h->1,y=1;x<=0,h->0,y=0;

对于非线性问题,如下图:


蓝色圆圈的即为判决边界h:

因此,logistic对非线性问题和线性问题都能cover,关键是看判决边界怎么选取,只要是能表达为判决边界z>0和<0分别各属于不同的类,就可以用logistic回归-- 一种分类的回归;

CostFunction/ 代价函数

选好了判别边界,选定了logistic回归,那下面看怎么选取参数 。

根据之前线性回归的代价函数如下:


和线性回归中假设函数是线性的不同,这里是logistic,会导致J不再是碗状的凹函数(习惯叫法),

如下图中有很多的局部最优点,之前的梯度下降法就不使用了,那么需要构造一个碗状的凹函数;


Logistic的代价函数如下:


当y=1时,若h=1,h-y=0;h-y无穷;当y=0时,若h=1,h-y无穷,h=0,h-y=0;


多类问题

         对每一类训练一个回归模型,加入有A、B、C三类,训练A回归模型,将A标注为一类,将B和C标注为一类;训练B回归模型时,将A和C标注为一类;以此C;作用是,将回归模型A、B、C都作用在测试样本上,择最佳的,因为前面提到,logistic的输出有实际意义,即属于该类别的概率,可以进行比较;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值