<机器学习笔记-04 >逻辑回归
关键词:机器学习,python,scikit-learn,逻辑回归,Latex
摘要:本文主要介绍了分类任务的分类,逻辑回归的概念,以及分类评估方法;同时介绍了如何使用python对分类任务进行建模、预测结果以及结果评价,以及使用GridSearch方法进行优化;
注:LaTeX常见命令请参考wikibooks,笔者将其pdf上传到csdn下载中。
知识要点总结
掌握概念:分类任务(二元分类、多类分类、多标签分类)
理解:广义线性回归概念,以及逻辑回归属于线性模型的原因;
理解分类评估方法:准确率、精确率、召回率、误警率、综合评价指标、ROC-AUC值、混淆矩阵、汉明损失函数,杰卡德相似度;
掌握使用python,针对二元分类和多类分类,训练逻辑回归模型,预测结果,对结果进行评价(各类分类评估方法);会使用GridSearch方法进行优化求解;
基本概念与理论分析
分类任务:目标是寻找一个函数,把观测值匹配到相应的类和标签上;逻辑回归(logistic regression)可以用来处理分类任务;常见分类可以分为二元分类(binary classification)、多类分类(multi-class classification)以及多标签分类(multi-label classification);
广义线性回归用一个联连函数(link function)来描述解释变量和响应变量的关系;普通线性回归使用恒等联连函数(identity link function),将解释变量通过线性组合方式来联接服务正态分布的响应变量;逻辑回归的联连函数称为逻辑函数(logistic function),响应变量等于或者超过指定的临界值,预测结果就是正面,否则预测结果就是反面;
F(t)=11+e−t逻辑回归被认为是线性模型的原因(参考周志华《机器学习》):
线性模型(linear model)试图用线性组合进行预测的函数,即
f(x)=w1x1+w2x2+...+wdxd+b用向量形式写为
f(x)=ωTx+b从逻辑函数可以推导得到
lny1−y=ωTx