统计机器学习概述

统计机器学习概述

机器学习（Machine Learing）简称ML，是一种让计算机从已有知识中进行学习，得到新知识或者新规律的方法或称技术。是人工智能领域下的一个子领域。在早期常被称为模式识别（Pattern Recognition）PR，但是模式识别其实现在来说是更加偏向实际的应用场景，比如语音识别、人脸识别等等。
传统机器学习中，我们无论学习哪一种模型，总要有几个步骤的：
一：目的
首先要明确你要解决什么问题，从什么角度去解决。比如分类问题可以从线性回归、后验概率等角度出发。
二：数据集定义
数据集如何定义十分重要，这决定了之后的工作该如何计算与表示，甚至影响到算法的具体设计与优化。
三：决策函数
决策函数也称目标函数就是一个为我们产生结果输出的函数。选择一个准确、合适的决策函数是模型的关键。
四：损失函数
损失函数也称为惩罚函数，它有点类似一个monitor，一个监督者。决策函数千千万万，可以为我们实现目的的决策函数有很多，但是其会给我们带来的损失也是不一定的。就像刚刚说的，选择决策函数的时候要选好，但是选的再好总是会有一些问题。这些问题就需要损失函数来更加完善。
通常我们会利用损失函数到达最小这个情况，通常是通过微分得到。当我们的损失函数最小时，我们就可以得到一堆参数，而这些参数就是决策函数中的未知项，也算是新的知识，通过学习才能得到的。
五：优化算法
优化算法也有很多，让损失函数得到最小往往简单的求个偏微分是得不到的。这时候我们就会有许许多多的优化算法来做。用其他的办法为我们的损失函数优化。
总结：步骤三四五，合并为学习算法。当给我们一堆知识的时候，通过学习算法我们会学习到新知识，新规律，并利用新的规律来解决未知问题。比如我们给机器一堆房价和年份关系的数据集，再给他设计一个好的学习算法。然后学习好了以后，我们给一个不在数据集中的新数据，他会给出一个预测结果。
所以通常说机器学习三要素就是 模型、学习准则、优化算法。
三个时期是：推理期——知识期——学习期