【深度学习】低维向量映射到高维空间的方法

低维向量映射到高维空间的方法

1、全连接层（线性层）：

全连接层，也称为线性层，是神经网络中最基本的组件之一。它通过一个权重矩阵和一个偏置向量对输入向量进行线性变换。如果输入向量的维度是 din，而我们想要将其映射到一个更高维度的空间，比如 dout，我们可以使用以下公式：y=Wx+b
其中：

通过调整权重矩阵 W 的大小，我们可以控制输出向量的维度。如果
​dout>din，则实现了从低维到高维的映射。

2、自编码器：

自编码器是一种由两部分组成的特殊神经网络：编码器和解码器。编码器部分将输入数据压缩成一个低维的编码表示，而解码器部分则尝试从这个编码中重建原始数据。

编码器：它通常包含多个全连接层和非线性激活函数，逐步将输入数据压缩到一个低维表示。如果需要，编码器也可以将数据压缩到比输入更低的维度。
解码器：解码器是编码器的逆过程，它通常包含与编码器相反的层结构，逐步将编码表示恢复到原始数据的维度，或者更高的维度。
在自编码器的训练过程中，网络学习到如何有效地表示数据，同时尽可能地保留足够的信息以便重建。这个过程可以导致数据在编码阶段被映射到一个更丰富的高维空间，然后解码器再从这个空间中重建数据。

3、非线性变换：

非线性变换是机器学习中用于增加模型复杂度和表示能力的关键技术。在低维到高维的映射中，非线性变换可以通过以下方式实现：

激活函数：如ReLU（Rectified Linear Unit）、Sigmoid或Tanh等，它们可以引入非线性，使得模型能够学习复杂的函数映射。
多层网络结构：通过堆叠多个全连接层和激活函数，可以构建一个深度网络，该网络能够学习数据的复杂表示。每一层都在前一层的基础上进一步处理数据，从而在高维空间中捕捉更复杂的模式。