【任务2 - 逻辑回归算法梳理】时长:2天
1、逻辑回归与线性回归的联系与区别
2、 逻辑回归的原理
3、逻辑回归损失函数推导及优化
4、 正则化与模型评估指标
5、逻辑回归的优缺点
6、样本不均衡问题解决办法
7. sklearn参数
参加了Datawhale的活动,虽然在机器学习有一定的实践和经验积累,不过总是有自己的漏洞,所以参加基础的机器学习任务。博客尽力的水到渠成,不过很多内容来自之前自己的总结截图,显得粗糙,不过还是用心的,并不是堆砌。
1、逻辑回归与线性回归的联系与区别
逻辑回归是线性模型么?不是的,逻辑回归是广义线性模型。逻辑回归和线性回归不同,线性回归模型的特点: 单变量情况下是一条二维直线,这条直线x取值可以在坐标轴上延伸,同时y可以上下无限延伸。但是逻辑回归的x和y就没有这个特点。不过这个是表面的,根本原因是线性模型有一个假设,对误差ε,假设互相独立,且服从正态分布,这个逻辑回归y是0/1变量,其误差显然是不符合的线性模型假设的。所以,逻辑回归不属于线性模型。
2、 逻辑回归的原理
算法名虽然叫做逻辑回归,但是该算法是分类算法,逻辑回归用了和回归类似的方法来解决分类问题。
逻辑回归是因变量为虚拟变量的问题,
分类问题举例:
邮件:垃圾邮件/非垃圾邮件?
在线交易:是否欺诈(是/否)?
肿瘤:恶性/良性?
y − 0 , 1 y-{
{0,1}} y−0,1,对于这样的模型,对比连续变量的散点图,一个虚拟变量产生的散点图,如图,并不是一些呈现云状的散点图。它呈现两个平行图样的散点。
线性回归的方法已经无法对 y y