机器学习概念梳理（无公式）

1.机器学习是干什么的

（1）分类

如：输入大量的动物图片进行训练后，使机器能够区分哪只是狗，哪只是猫。

（2）标注

标注是分类问题的推广。和分类问题不同的地方在于，其输出结果不是简单的一个类别（如这是一条狗），而是一个标注序列。如：输入一个英文句子，输出该句子中每个单词的词性。

（3）预测

也叫回归。如通过往年某地房价数据，学习出一个模型，使得该模型可预测未来房价的趋势。

2.机器学习的基本步骤

李航老师在《统计学习方法》中总结，统计方法的三要素可表示为：方法=模型+策略+算法。

更通俗的讲，

（1）模型，即训练所用的算法结构。如耳熟能详的感知机，支持向量机，神经网络，都属于“模型”。这一步很关键，举个栗子：二维平面上两类数据若有明显的界限，则可选用线性模型进行分类，但若是完全混合在一起，再选用线性 模型，无论怎么训练，也无法得出满意的效果

（2）策略，策略即学习的准则。假设我们第一步模型选用了线性模型：WX+b=0,其中W为未知参数，我们需要通过对输入的数据的不断地训练，来纠正模型（即调整“直线”的位置），此时需要一个准则来指导究竟如何调整，我们称之为策略。如线性模型中，我们可以将减小误分类点到直线的总距离来作为我们更新参数的准则，我们目标就是通过不断的学习使得这个距离越来越小，当其为0时，说明此时已经没有误分类点了。这个目标函数通常叫“损失函数”或“经验风险”，目标是使他最小。

（3）算法，算法即更新参数使用的方法。如梯度下降法，牛顿法等等。使用这些方法是为了最快、最好的使参数调整到最优状态。

3.其他概念

（1）过拟合

这个很好理解，就是模型对训练数据能够很好很正确的分类，而对新的数据却误差很大。比如二维平面中，有一堆数据大致是线性分布的，若过拟合的话，最终学习出的模型可能是一个很高次的函数，虽然使得已有的数据全都落在这个函数上，但新来一个数据，其预测值会跑偏很多。

（2）正则化

为了防止过拟合，引出正则化的概念。前面提到，我们的目标就是使得损失函数最小化。我们在损失函数加上正则项，正则项一般随着模型复杂度递增，模型越复杂，正则项越大。这样，我们目标是最小化风险函数，而随着模型复杂度越来越高，风险函数反之会变大，所以该方法可有效防止过拟合。

（3）交叉验证

另一种防止过拟合的方法是交叉验证。通常用于神经网络。为什么只用正则项不行，私以为神经网络是个大黑盒子，过于复杂，有些东西很难用一个公式概括，所以神经网络防止过拟合多采用交叉验证。

交叉验证就是：我们将数据集分成三部分：训练集、验证集、测试集。训练和测试很好理解，验证集是干嘛的呢？在模型学习到不同程度时候，用验证集进行测试，选择使用对验证集有最小误差的模型。通俗的讲就是：模型差不多的时候，用验证集去试一试，如果模型表现特差，则说明过拟合了。

（4）监督模型和无监督模型

监督模型指的是，训练数据有类别信息，比如，有有监督模型的训练数据长这样：“汪汪，摇尾巴，天热伸舌头—狗”，“喵喵，高冷，抓老鼠—猫”最后一定要告诉模型这是狗和猫的特征，下次模型遇见类似症状便会反馈信息“这是一条狗/猫”。而无监督模型，就只有前面那些特征，并无类别标签。模型通过学习，可自动提取高阶特征从而发现狗和猫的区别，因此也可进行分类，称为无监督模型。

4.一般步骤

（1）定义算法公式

（2）定义损失函数，选定优化算法

（3）迭代地对数据进行训练

（4）在测试集或验证集上对准确率进行评测

5.总结

机器学习的终极目标就是学得一个模型，模型包括有：判别模型有k紧邻、感知机、决策树、逻辑回归、SVM等。生成模型有朴素贝叶斯，马尔科夫链。判别模型和生成模型的区别现在也不是太理解，日后理解了再来补充。

为了学得这个模型（确定模型中的未知参数），我们需要一些策略，即最小化损失函数，不同场景使用不同类型的损失函数，如0-1损失函数、平方损失函数、绝对损失函数、对数损失函数。为了防止过拟合，又引出正则化的概念。

最后，要最小化损失函数，又引出最优化算法，如梯度下降法、牛顿法等。

想要使得模型有比较好的效果，就要做好以上三部分内容，其中会设计诸多细节。上述只是非常宏观粗略地概括，因为要解决一件事，必然会出现矛盾，如使用梯度下降法算法收敛很慢该怎么办，参数如何初始化可以使算法尽快收敛等等小问题，每个问题都有相应的解决办法，但我们只要时刻牢记目标是什么就不会陷入泥潭，就不会不知所云，就会很快理解算法的精髓。

最后，学机器学习也有数月了，中间跌跌撞撞，多次终止，究其原因，多是因为被过于专业的词汇搞得一头雾水，亦或是被一望无际的公式吓得望而却步，从而无法从宏观上把握整个知识脉络，一直领会不到要旨。因此将自己走的弯路做一小小总结，希望能够帮助到徘徊在机器学习大门前，同样迷茫的同学吧。因为内容多是自己的想法，如有不严谨或是错误之处，还请指正！