机器学习基本概念

Kreas中文文档：https://keras-cn.readthedocs.io/en/latest/legacy/models/model/

一、基本概念

1.顺序模型Sequential与泛型模型Model

Keras有两种类型的模型，顺序模型Sequential与泛型模型Model。在原本的Keras版本中，模型其实有两种，一种叫Sequential，称为序贯模型，也就是单输入单输出，一条路通到底，层与层之间只有相邻关系，跨层连接统统没有。这种模型编译速度快，操作上也比较简单。第二种模型称为Graph，即图模型，这个模型支持多输入多输出，层与层之间想怎么连怎么连，但是编译速度慢。可以看到，Sequential其实是Graph的一个特殊情况。

在现在这版Keras中，图模型被移除，而增加了了“functional model API”，这个东西，更加强调了Sequential是特殊情况这一点。一般的模型就称为Model，然后如果你要用简单的Sequential，OK，那还有一个快捷方式Sequential。

由于functional model API表达的是“一般的模型”这个概念，我们这里将其译为泛型模型，即只要这个东西接收一个或一些张量作为输入，然后输出的也是一个或一些张量，那不管它是什么，统统都称作“模型”。

2.梯度下降batch

深度学习的优化算法，每次的参数更新有两种方式。

第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。

另一种，每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降，stochastic gradient descent。这个方法速度比较快，但是收敛性能不太好，可能在最优点附近晃来晃去，hit不到最优点。两次参数的更新也有可能互相抵消掉，造成目标函数震荡的比较剧烈。

为了克服两种方法的缺点，现在一般采用的是一种折中手段，mini-batch gradient decent，小批的梯度下降，这种方法把数据分为若干个批，按批来更新参数，这样，一个批中的一组数据共同决定了本次梯度的方向，下降起来就不容易跑偏，减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多，计算量也不是很大。

3.张量

张量可以看作是向量、矩阵的自然推广，我们用张量来表示广泛的数据类型。规模最小的张量是0阶张量，即标量，也就是一个数。当我们把一些数有序的排列起来，就形成了1阶张量。把一个矩阵摞起来，就是3阶张量，我们可以称为一个立方体，把一个具有3个颜色通道的彩色图片的立方体矩阵摞起来，就叫4阶张量了，不要去试图想像4阶张量是什么样子，它就是个数学上的概念。张量的阶数有时候也称为维度，或者轴axis。譬如一个矩阵[[1,2],[3,4]]，是一个2阶张量，有两个维度或轴，沿着第0个轴（为了与python的计数方式一致，本文档维度和轴从0算起）你看到的是[1,2]，[3,4]两个向量，沿着第1个轴你看到的是[1,3]，[2,4]两个向量。

要理解“沿着某个轴”是什么意思，不妨试着运行一下下面的代码：

import numpy as np

a = np.array([[1,2],[3,4]])
sum0 = np.sum(a, axis=0)
sum1 = np.sum(a, axis=1)

print(sum0)  #4，6
print(sum1)  #3，7

其他待补充：

• 有监督学习，无监督学习，分类，聚类，回归

• 神经元模型，多层感知器，BP算法

• 目标函数（损失函数），激活函数，梯度下降法

• 全连接网络、卷积神经网络、递归神经网络

• 训练集，测试集，交叉验证，欠拟合，过拟合

• 数据规范化