PaddlePaddle学习笔记：新手入门：机器学习基础知识

1.机器学习分类

机器学习主要可以分为监督学习和无监督学习

监督学习中包括分类（如决策树，SVM）和回归(线性回归，非线性回归)等

无监督学习中包括聚类，词嵌入等

2.有监督学习和无监督学习的区别

有监督学习的数据本身包含标签，无监督学习则无标签，需要依靠数据中潜在的结构。

3.模型

监督学习中，模型就是数据集X到Y的映射f

如翻译中，X为中文句子，Y为英文句子。

样本：（x，y），数据集是样本构成的集合

模型能力：（1）拟合 （2）预测，泛化

机器学习是从数据中产生模型的过程

4.假设函数

用数学方法描述自变量x和因变量y的关系

假设函数可以是一次，二次，三次或者更高次的函数

5.损失函数J(θ)

衡量假设函数预测结果和真实值之间的“误差”，有均方差，交叉熵等

eg.MSE均方差损失函数

目标：找到损失函数的极小值

6.梯度下降

函数的极值点为倒数为零的点，为了使损失函数最小，让计算采取梯度下降的方法，迭代算出极值点。

学习率：需要人为设定，太小则逼近很慢，太大则可能无法收敛，甚至发散。

三种梯度下降优化框架：批量梯度下降（全量样本参与），随机梯度下降（一个样本参与），小批量梯度下降（部分样本参与，使用一个batch的数据，加快迭代速度，同时避免使用一个样本时迭代次数过多的问题）

三种框架中批量梯度下降方向最稳定，总朝着全局最优前进