Convolutional Highway 神经网络

根据原始论文的介绍，Highway神经网络除了全连接层版本之外，还有一个卷积版本。

网上能找到的大多是全连接层版本的实现。其实卷积版本也非常简单。

代码如下：

import torch
import torch.nn as nn
import torch.nn.functional as F


class ConvHighWay(nn.Module):
    """
    y = f(x)的一层非线性变换，具体公式为
    y = T(x, Wt) * x + (1 - T(x, Wt)) * H(x, Wh)
    与普通highway不同之处在于，这里用卷积层替代全连接层。
    相应的，输入x的维度应该是(B,C,W,H)
    参考文档
    https://arxiv.org/abs/1505.00387
    """

    def __init__(self, in_channel, n_layers=1, activation_fn=F.relu):
        super(ConvHighWay