highway network

Highway Network

highway network 主要解决了因网络深度的加深，梯度信息回流受阻，从而造成网络训练困难的问题。
它其实就是一个门结构，用这个门来控制输入的信息中有多少信息被激活，有多少信息一成不变的输入到下一层。同时在反向传播的时候，能够让更多的信息直接回流到输入，而不需要竟敢一个非线性转化。
公式：

注：H、T均为一个非线性变换，T这个非线性变换表示一个概率，也就是说有这么多的信息要被激活，所以用H这个激活函数对x做非线性激活，其中有T这么多信息输出，剩下的以x原样输出。

代码表示：

input_ = np.random.random([5,10])
print(input_)
print()
print()
input_ = tf.cast(input_,tf.float32)
matrix = tf.get_variable(name="matrix",shape=(10, 10), dtype=tf.float32)
bias_term = tf.get_variable(name="bias_term",shape=(10),dtype=tf.float32)
f = tf.matmul(input_,tf.transpose(matrix))+bias_term
h = tf.nn.relu(f)
t = tf.sigmoid(f)
output = t * h + (1. - t) * input_
sess = tf.Session()
sess.run(tf.global_variables_initializer())
print(sess.run(output))

结果：

[[0.16692169 0.32930619 0.16419068 0.80125768 0.70879951 0.68637514
0.89862426 0.16188726 0.4033582 0.04659113]
[0.1589818 0.09351081 0.25940448 0.4071527 0.57621462 0.70883087
0.24636593 0.47761954 0.63539618 0.64821179]
[0.97602045 0.64247763 0.2849994 0.85553559 0.19233506 0.03378464
0.94354929 0.01542264 0.18243344 0.96744699]
[0.28225084 0.75390521 0.02538683 0.98897941 0.72395453 0.8017994
0.53374912 0.07671293 0.64941287 0.55523126]
[0.88483296 0.7012798 0.90507028 0.46445537 0.07587667 0.86878605
0.32840456 0.1393961 0.24878793 0.58936834]]

[[0.60480237 0.5488739 0.62147546 0.53300756 0.36944944 0.9155532
0.859756 0.1314223 0.20337354 0.02806957]
[0.49364647 0.55625045 0.13906084 0.24853563 0.3770648 0.6025609
0.50891 0.36199453 0.31897357 0.3933662 ]
[0.6064333 1.0051785 0.6928343 0.4301235 0.09726407 1.511984
0.9468198 0.0131502 0.11029618 0.4988184 ]
[0.74238735 0.9982571 0.63842595 0.5946592 0.4114818 1.0079416
0.7293158 0.06263292 0.33252537 0.33113638]
[0.68338394 0.7081524 0.5653785 0.24622896 0.09858732 1.5245113
1.0752963 0.12094444 0.17856088 0.31835783]]