逻辑回归
与线性回归的关系
二者都属于监督学习算法。但是线性回归解决回归问题,逻辑回归解决分类问题。
求代价函数最优值时都可以用到梯度下降法,虽然更新规则看起来相同,但由于假设的定义不同,所以其实是完全不同的两个过程。
原理
类似线性回归。首先有一个预测函数,然后构造损失函数,求和得代价函数,然后采用一些方法求代价函数最小值。
解决分类问题,输出值永远在0-1之间。
假设函数:
算法结果有相应的判定边界。
损失函数、代价函数
如果沿用线性回归的损失函数,得到的代价函数将是一个非凹函数:
这意味着代价函数有很多局部最小值,这会影响使用梯度下降法求取最小值。
重新定义代价函数:
简化一下:
可以证明重新定义的损失函数是个凸函数,没有局部最优值。具体证明推导过程可见吴恩达机器学习网课。
优化算法可以采用梯度下降法,还有一些更高级的,如BFGS、L-BFGS等。
正则化
评估指标
分类问题最常用的两个评估指标是错误率和精度。
错误率:分类错误的样本数占总样本数的比例
精度:分类正确的样本数占总样本数的比例
还有一些为了满足特殊需求的评估指标,如准确率和召回率。
对于二分类问题,可构造混淆矩阵
准确率P、招呼率R分别定义为:
更多关于P.R的知识点见西瓜书。
逻辑回归优缺点
http://blog.sina.com.cn/s/blog_5dd0aaa50102vjq3.html
样本不均衡问题
主流解决办法有几个:
1.样本的过采样和欠采样。
2..使用多个分类器进行分类。
3.将二分类问题转换成其他问题。
4.改变正负类别样本在模型中的权重。
sklearn参数