深度学习的高维度问题

爱数据学习社

welcome

在研究或者使用深度学习技术时，大多数人都会被“维度”这个概念搞晕，无论是数据本身还是算法结构，都面对着各种高维的理论概念，正确理解深度学习中和“维度”相关的概念是掌握深度学习方法过程中不可回避的技术瓶颈。

数据的高维度问题

深度学习的目标是基于某些给定信息对未知变量进行预测。需要预测的变量，一般是单个变量，若是需要预测多个变量，则也拆成多个深度学习模型处理，因此对每个模型还是输出单个变量。模型输出的单个变量称为标量，英文是Scalar,深度学习模型的输出一般不涉及高维问题。

在模型进行预测时，需要基于一些输入的信息进行判断，这些输入信息往往不是单一变量，而是多个变量，因此深度学习中数据的高维问题往往是指模型输入变量的高维问题。

向量（Vector）

对深度学习模型来说，向量是最基本的输入数据的结构，每个维度上的数据可以表示一个进行预测的参考信息。一般的预测问题中，输入数据都可以用向量表示，向量中的各个值可类比于多元线性回归模型中的各个自变量的作用。

矩阵（Matrix）

深度学习模型的输入可以是矩阵。矩阵可以理解为2维的数据平面，输入数据存储在一个棋盘一样的网格里。

每个数据点占据这个“棋盘”的一个格子。当需要提取一个格子里的数据时，需要给定“行”和“列”两个坐标。有人会问，我在做深度学习时，只需要知道输入是多个“自变量”就可以了，为什么需要用一个数据平面表示。

其实，任何输入数据都可以只用向量表示，而无需用更复杂的结构来表示。实际情况是，对于很多深度学习框架，