来自 PDE 的残差神经网络

残差神经网络与常微分方程
参考文献 Deep Residual Learning for Image Recognition

对输入的向量 x, 经过 线性变换后, 再非线性变换, 然后线性变换, 最后加上 x. 写成公式
$$\text{F}(x)+x:=W_2\sigma (W_{1}x)+x.$$
$\sigma :\mathbb{R}\to \mathbb{R}$ 是激活函数.

残差主要的作用是避免梯度消失.

输入 特征 $X_0=X$，得到 $X_1$, 输入 $X_1$, 得到 $X_2$, $$\begin{array}{rl}{X}_1& :=\mathcal{F}(X_0)+X_0,\\ X_2& :=\mathcal{F}(X_1)+X_1,\\ ⋮& \\ X_{n+1}& :=\mathcal{F}(X_n)+X_n.\end{array}\text{\hspace{1em}(1)}$$

上面是一串残差网络.

对 (1) 做移项处理后, 有
$$\frac{X(n+1)-X(n)}{1}:=X_{n+1}-X_n=\mathcal{F}(X_n).\text{\hspace{1em}(2)}$$
这可以看成是方程
$$\begin{array}{rl}\frac{\partial X}{\partial t}& =\mathcal{F}(X(t))\\ X(0)& =X_0\end{array}$$的离散形式.

一串的残差神经网络可以看成是常微分方程的离散形式. 每层神经网络的输出实际上是 微分方程的解在 某个时刻的值. 这在一定程度上沟通了神经网络与微分方程的联系. $但是我们还是看得出来这里得问题,几个特殊点是否能确定唯一的微分方程.(2)式里边仅仅是用了有限个点.$

残差卷积神经网络与PDE

参考文献 Deep Neural Networks Motivated by Partial Differential Equations

矩阵的卷积运算在本质上上是也是一种特殊的矩阵运算.
$\theta =({\theta }_1,{\theta }_2,{\theta }_3)$ 是 ${\mathbb{R}}^3$ 中的向量. 对 $x\in {\mathbb{R}}^n$, 卷积运算
$$({\theta }_1,{\theta }_2,{\theta }_3)\ast x.$$ 实际上是矩阵
$$\left(\begin{array}{ccccccccc}{\theta }_2& {\theta }_3& 0& 0& \cdots & 0& 0& 0& \\ {\theta }_1& {\theta }_2& {\theta }_3& 0& \cdots & 0& 0& 0& \\ 0& {\theta }_1& {\theta }_2& {\theta }_3& \cdots & 0& 0& 0& \\ ⋮& ⋮& ⋮& ⋮& \cdots & ⋮& ⋮& ⋮& \\ 0& & 0& 0& \cdots & {\theta }_1& {\theta }_2& {\theta }_3& \\ 0& & 0& 0& \cdots & 0& {\theta }_1& {\theta }_2& \end{array}\right)x$$

使用 $W(\theta )$ 表示这个矩阵, 于是
$$W(\theta )x=({\theta }_1,{\theta }_2,{\theta }_3)\ast x.$$ 这意味着卷积网络可以有表达为残差网络模式, 称为卷积残差网络.
$$\mathcal{F}(\theta ,x):=W_2({\theta }_3)\sigma (W_1({\theta }_1)):={\theta }_3\ast \sigma ({\theta }_1\ast x).$$ $\theta$ 即 ${\theta }_1,{\theta }_3$.
通常输入是一堆样本, 即矩阵, 不仅仅是向量. 对卷积作用会使用一个正则化. 令 $\text{BN}(,{\theta }_2)$ 是 参数为 ${\theta }_2$ 的 batch 正则化. 例如 对矩阵