Python机器学习分类算法

机器学习概述

基本定义

机器学习致力于研究如何通过计算的手段,利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法,即“学习算法”。有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型。

机器学习任务类别

根据训练数据是否拥有标记信息，学习任务可大致划分为两大类：“监督学习”和“无监督学习”，分类和回归是前者的代表，而聚类则是后者的代表。

基本术语

1.从数据中学得模型的过程称为“学习”或“训练”，这个过程通过执行某个学习算法来完成。训练过程中使用的数据称为“训练数据”，其中每个样本称为一个“训练样本”，训练样本组成的集合称为“训练集”。学得模型对应了关于数据的某种潜在的规律，亦称为“假设”；这种潜在规律自身，则称为“真相”或“真实”，学习过程就是为了找出或逼近真相。

2.学得模型适用于新样本的能力，称为“泛化”能力。

模型评估与假设

经验误差

一般地，我们把学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”。

过拟合与欠拟合

评价方法

• 留出法
• 自助法
• 交叉验证法
  

性能度量（以分类算法为主）

错误率与准确率

错误率是分类错误的样本数占样本总数的比例。
正确率则是分类正确的样本数占样本总数的比例。

精确率(Precision)、召回率(Recall)与F1

精确率P和召回率R定义

F1定义

F1可以综合考虑精度、召回率的性能度量，它是基于精度与召回率的调和平均定义的

ROC曲线和AUC(Area Under ROC Curve)