在人工神经网络领域,残差结构(residual structure)通常指的是输入数据通过若干层变换后,与原始输入数据之间的差异,也就是残差。
具体来说,在深度卷积神经网络(deep convolutional neural network,CNN)中,残差结构通常表示为 $H(x) = F(x, {W_i}) + x$,其中 $H(x)$ 是输入 $x$ 经过一些变换后的输出,$F(x, {W_i})$ 是某些变换的函数,$x$ 是输入,${W_i}$ 是变换的参数。在这种情况下,残差结构就是 $H(x) - x$。
残差结构在神经网络中的作用是让网络能够较好地捕捉和处理更深层的特征,从而提高网络的表示能力。