学习笔记_机器学习基础_分类项目

参考：开源项目：机器学习集成学习与模型融合(基于python)
Github链接

机器学习两大典型任务，一个是回归，一个是分类，本文将总结分类项目内容。

1. 收集数据集并选择合适的特征

2. 选择度量模型性能的指标
   度量分类模型的指标和回归的指标有很大的差异，首先是因为分类问题本身的因变量是离散变量，因此像定义回归的指标那样，单单衡量预测值和因变量的相似度可能行不通。其次，在分类任务中，我们对于每个类别犯错的代价不尽相同，例如：我们将癌症患者错误预测为无癌症和无癌症患者错误预测为癌症患者，在医院和个人的代价都是不同的。为此需要有评价指标。

TP（True Positives）: 被分为正样本，并且分对了
FP (False Positives) : : 被分为正样本，并且分错了
TN（True Negatives）: 被分为负样本，而且分对了
FN（False Negatives）: 被分为负样本，但是分错了

–准确率：分类正确的样本数占总样本的比例，即Accuracy=(TP+TN)/(TP+TN+FP+FN);
–精度：预测为正且分类正确的样本占预测值为正的比例，即Precision=TP/(TP+FP)
–召回率：预测为正且分类正确的样本占类别为正的比例，即Recall = TP/(TP+TP)
–ROC曲线：以假阳率为横轴，真阳率为纵轴画出来的曲线，曲线下方面积越大越好。

3. 选择具体的模型并进行训练
   逻辑回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题，利用Logistic函数（或称为Sigmoid函数），自变量取值范围为(-INF, INF)，自变量的取值范围为(0,1)
   
   LR分类器(Logistic Regression Classifier)目的就是从训练数据特征学习出一个0/1分类模型。