机器学习

最近确定了课题，需要用深度学习相关的方法，但是机器学习方面的知识都忘得差不多了，这篇文章只是简要记录一下自己的学习，以便后面查询。
参考:http://www.cnblogs.com/iamccme/archive/2013/05/15/3080737.html

1. 在机器学习中，有监督学习和无监督学习：

   有监督学习：如：分类。通过对已标注的训练样本（即已知数据及其相应的输出–标签）进行训练，得到最优化模型（然后通过模型对未标注的数据进行分类）。如KNN,SVM等。在监督学习中，若预测得到的是离散的数据，则称为分类（决策树，SVM）；若预测的变量是连续的，我们称之为回归。举个例子，当我们通过模型预测得到的结果是离散的（如+1，-1），则成为分类。如果预测的结果是连续的，比如明天多少度，我们就称之为回归。

   无监督学习：如：聚类。就是在没有进行标注的数据上训练模型。如k-means，GMM混合高斯模型

2. 回归分析：有线性回归和非线性回归。
   回归分析大致步骤：
   （1）确定因变量和自变量
   （2）确定回归模型：线性回归模型，非线性回归模型
   （3）确定回归方程：回归模型+数据，利用一定的统计拟合准则，确定回归模型中各参数
   （4）对回归方程进行测验。
   （5）利用回归方程进行预测

   在回归分析中，如果只包括一个因变量（y）和一个自变量(x)，且二者的关系可用一条直线表示，则称为一元线性回归分析（y=b+ax）。若包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析(y=c+bx1+ax2)。

   对于二维平面，线性是一条直线；
   对于三维空间，线性是一个平面；
   对于多维空间，线性是一个超平面。

3. 最小二乘法：