机器学习要点

一、数据集的划分

1.1 通常讲数据集划分为：

训练数据集：又称训练集，是训练模型时使用的数据

测试数据集：又称测试集，是学得的模型在实际使用中用到的数据

验证数据；又称验证集，是在评估与选择模型时使用的数据

1.2 参数的选择

模型评估与选择主要是确定算法使用的参数，在机器学习中有两类，分别是

1、算法参数：又称为超参数，该参数是模型的外部设置，如K近邻算法中使用的K值。该参数由人工确定，常说的“调参”是指对算法参数进行调整。

2、模型参数：模型使用的参数，如神经网络中的权重值，该参数是通过学习过程习得的。

将整体数据划分为不同部分的方法称为留存法，在这种方法中，训练过程使用大部分数据，测试过程使用小部分数据。这会导致误差仅在很少一部分数据上体现出来。比较理想的情况是；训练过程、测试过程都能使用所有数据。

可以通过交叉验证的方式达到使用所有数据的效果。

二、模型的拟合

拟合是指用训练数据构造一个表达式，该表达式的曲线与训练数据及测试数据的分布基本一致。在机器学习中过，拟合是指根据已知数据构造一个模型，该模型能够预测测试数据。

几种状态：（这里我想到的是傅立叶变换，及任何一个函数，都可以由不同的正弦函数拟合而来，只要参数合适）

1、拟合良好：表达式对应的曲线与训练数据分布大致一致，能够用来预测未知数据

2、欠拟合：表达式对应的曲线只能与训练数据中的部分数据分布一致。这说明，在学习时没有完整地把握训练数据的规律；此时，曲线不能拟合训练数据的大致分布，更不能用来计算未知数据。

3、过拟合：表达式对应的曲线精准的与所有训练数据分布一致，导致泛化性能下降。此时，曲线能高度精准的拟合训练集，但对测试集的预测能力较差。

举例：

甲、乙、丙都通过一段演唱会来学习周杰伦的歌。然后再唱一首没有学过的周杰伦的新歌时，他们的表现不一样：

甲：唱风很像周杰伦，是拟合良好状态（抓住了主要矛盾，主要规律。当然次要的因素也存在，但被忽略了。因此能够较好的预测大的方向）

乙：唱风只有一点像周杰伦，是欠拟合状态（没有学到规律，或者学错了，因此无法预测）

丙：像周杰伦在开演唱会，不仅有歌声，还夹杂着听众的喝彩声、尖叫声。是过拟合状态。（太细了，没有把握主要规律。也就是没有抓住主要矛盾，所以预测就不精准了。

三、性能的度量

在机器学习构造模型后，需要对模型的f泛化能力进行度量，这就是性能度量。大部分性能度量只能针对特定类型的任务，如分类、回归。在实际应用中，应该采用能够代表产生错误代价的性能指标来进行性能度量。

实际情况	预测结果
	阳性	阴性
阳性	真阳性TP（True Positive）	假阴性FN（False Negative）
阴性	假阳性FP（False Positive）	真阴性TN（True Negative）

根据上述定义，准确率ACC为：

查准率P（预测为恶性肿瘤实际也为恶性肿瘤的比例，又称为精确率）为

（真阳性/真阳性+假阳性），假阳性实际上是没有有肿瘤，但是判断有，也就是说这是预测出来的所有结果。之中包含了错误的结果

查全率R（真正的恶性肿瘤被发现的比率，又称为召回率）为

(真阳性/真阳性+假阴性） ，假阴性是实际上有，但是没有预测出来的。这里分母上是所有真有肿瘤的，所以又叫查全率。

三、偏差与方差

方差：使用相同规模的不同训练数据产生的差别

偏差：期望输出与真实标签之间的差别

四、决策树

信息增益基础知识

香浓提出来使用熵来度量信息量。

熵度量的是一条信息的不确定性，即该条信息是由信源发出的所有可能信息中的一条概率。信息越有规律，包含的信息量越大，对应概率越低。对应的熵 值也越低；信息越混乱（均衡分布），对应的概率越高，对应的熵值越大。

五、贝叶斯分类器

贝叶斯，解决逆概率问题

盒子里有80个白球，20个黑球，随机取一个球，球的是白色的概率是80%，这是正向概率。正向概率是频率统计的结果。

而贝叶斯解决的是，在事先并不知道布袋中黑球和白球比例的情况下随机取出一个球，根据该球颜色对布袋内黑白球的比例进行预测，这是逆向概率。

贝叶斯方法与传统方法有很大的不同，他认为概率是对事件发生可能性的一个估计，并逐渐优化的结果。在具体计算时，先根据经验设定一个基础概率，若对事件一无所知，则随意设定一个基础概率，然后在出现新信息时，根据新信息对基础概率进行修正。随着新信息的增多，基础概率会被修正的越来越接近实际值。

贝叶斯方法设计的重要概念有：先验概率、似然估计、后验概率

先验概率：是对事件发生作出的主观判断值

似然估计：是根据已知的样本结果信息，反推最有可能导致这些样本结果出现的模型参数值，简单理解就是条件概率，是在某个事件发生的情况下另一个事件发生的概率，例如，在已经阴天的情况下，下雨的概率。

后验概率：是对先验概率和似然估计进行计算后得到的值。每次修正后得到的后验概率是下一轮计算的先验概率。

六、支持向量机（Support Vector Machine，SVM）

是一种二分类模型，目标是寻找一个标准（超平面）对样本数据进行分割。

分割原则是确保分类最优化（类别之间的间隔最大）

SVM在分类时，先把无法先行分割的数据映射到高维空间，然后在高维空间找到分类器最优的先行分类器。

在已有的数据中，找到离分类器最近的点，确保它们离分类器尽可能地远。

离分类器最近的点叫做支持向量（Support Vector）。离分类器最近的点到分类器的距离和（两个异类支持向量到分类器的距离和）称为间隔（Margin）。我们希望间隔尽可能的大，间隔越大，分类器对数据的处理越准确。支持向量决定了分类器所在的位置。

综上：

SVM是由支持向量和机器构成的

1、支持向量是指离分类器最近的点，这些点位于最大间隔上。通常情况下，分类仅依靠这些点完成，与其他点无关。

2、机器是指分类器

也就是说，SVM是基于关键点的分类算法

一般情况下，把可以被一条直线（在更一般的情况下为一个超平面）分割的数据称为线性可分数据。所以超平面是线性分类器。

七 、随机梯度下降

（Stochastic Gradient Descent，SGD）

举例理解随机梯度下降：

有一个探险家，最大的乐趣是在一个陌生的地方蒙上眼睛寻找附近最低的洼地。地点是陌生的、探险家的眼睛是蒙上的。此时探险家的眼睛虽然看不到，但是可以通过脚来感知地面的倾斜程度，从而判断当前所在位置的坡度。如果每次都朝着当前位置坡度最大的方向前进，那么最终就能找到附近最低的洼地。（我想这个是不是不一定，如果从全局来看，总是从最近的那个最优的选择来看，可能不一定求到整体最优解吧）。

是这样的

实际上，梯度指向的是函数值降低的方向，进一步说，梯度指向的是函数值降低最快的方向。也就是说，梯度指向的是局部的低洼处。

梯度指向的是局部的低洼处，这句定了梯度是各点处函数值降低最快的方向，但是无法保证梯度的方向就是函数的最小值方向（全局低洼处），或者说应该前进的方向。

梯度法是一个迭代的过程：

1、首先在当前位置沿着梯度方向前进一段距离

2、然后在新位置重新计算梯度值，继续沿着梯度方向前进

3、重复上述过程，不断沿着梯度前进，直到收敛（梯度值不在变化）

一般情况下，用梯度下降法——计算最小值，用梯度上升法计算最大值