一、简介
逻辑回归(Logistic Regression)是机器学习中的一种分类模型,由于算法的简单和高效,在实际中应用非常广泛。逻辑回归与线性回归在很多方面都差不多,不同的是因变量,逻辑回归的因变量可以是而分类的,也可以是多分类的,但是二分类的更为常用,也更容易解释,所以我们实际中最常用的是二分类的逻辑回归。如果是连续的,就是多重线性回归;如果是二项分布,就是逻辑回归;如果是Poisson分布,就是Poisson回归;如果是负二项分布,就是负二项回归。Logistic回归的主要用途:
1.寻找危险因素:寻找某一疾病的危险因素等;
2.预测:根据模型,预测在不同的自变量情况下,发生某病或某种情况的概率有多大;
3.判别:实际上,跟预测有些类似,也是根据模型,判断某人属于某病或属于某种情况的概率有多大,也就是看一下这个人有多大的可能性是属于某病。
二、主要内容
Classification:
从上图可以看出来,当不考虑最右上角的训练样本时,做出的直线与y=0.5的交点对应的x坐标恰好能把良性和恶性的值分开,但如果算上最右上角的训练样本值时,做出的直线与y=0.5的交点的x坐标与之前少一个训练样本的x坐标差别比较大。所以数据的微小变动都对结果能够产生很大的影响,所以一般解决分类问题不用线性回归的方法。
Hypothesis Representation:
Sigmoid函数是一个在生物学中常见的S型的函数,也称为S型生长曲线。在信息科学中,由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的阈值函数,将变量映射到0,1之间。
由概率论公式知:在分类问题中,其中一个分类的概率可以由其他概率简单计算得出。
Decision boundary:
用逻辑函数求决策边界
用逻辑函数的图像找出z>0的部分,即为我们所求的部分。
上图为非线性的决策边界的求解,只需要将假设函数的变量的阶数升高,就可以得到非线性的假设函数,然后再给出θ的值,就能得到具体图形的决策边界。决策边界不是训练集的属性,而是假设本身及其参数的属性。
Cost function:
![8](https://i-blog.csdnimg.cn/blog_migrate/12de56f190d0ad1ef0d30a201658e04e.png)
如果取
![9](https://i-blog.csdnimg.cn/blog_migrate/79a73d7c741784948744e0329c664011.png)
当y=1时,因为
![10](https://i-blog.csdnimg.cn/blog_migrate/7c18caf332d79b6732eab35de9d96656.png)
同理,当y=0的时候也可以得出当实际值与预测值相同的时候,cost=0,当实际值与预测值不一样的时候cost→∞。
将公式简化可以得到
![12](https://i-blog.csdnimg.cn/blog_migrate/2aa7df6dc8fbc52bb4fec6cc51cd4fd0.png)
通过梯度下降的公式对θ进行求值更新,除了
Advanced optimization:
除了梯度下降算法外,还有共轭梯度法,BFGS ,L-BFGS,后两者由拟牛顿法延伸出来,与梯度下降相比,这些算法的优点是:
1.不需要手动选择步长
2.通常比梯度下降算法快
Multi-class classification: One-vs-all:
二类分类问题可以用线性回归分类,也可以用逻辑回归分类多类分类问题可以将其看作二类分类问题,先保留其中一类,剩下的所有类别作为另一类。对于每一类再计算出他们的概率,取概率最大的类作为分类的结果。
三、参考链接
http://blog.csdn.net/sp_programmer/article/details/40685507]
http://blog.jobbole.com/88521/
http://blog.csdn.net/pakko/article/details/37878837/
https://baike.baidu.com/item/Sigmoid%E5%87%BD%E6%95%B0/7981407?fr=aladdin