思考: 如何设计 输出结果 具有对称性 的 网络结构

前言

这个Idea其实不是我想出来的。

实验室师兄参与了一个强化学习竞赛，让仿生人体学会站立行走乃至跑起来。在比赛的过程中他自己用tensorflow设计出了一个 对称性神经网络 ，能保证输出的 最终结果 具有 对称性（具体表现为 输出结果的数值分布 呈现 左右对齐）。

讨论

师兄问我，如果让我设计这个网络，该如何实现。

我想到的是，如果网络结构比较简单的话，保证 每一层的参数分布 左右对齐 就行了。只用设计一半数量的变量存储，让 对称位置 的参数 存储在同一个变量中 。在反向传播时，对称位置 的 参数变化 取平均结果，再进行偏移即可。

师兄说他的网络结构设计也是这样的，但是在反向传播时，累加 对称位置 的 参数变化，之后再进行偏移。

不过在我看来，区别只在于前方案的 learning_rate 是后方案的二分之一，并没有其他区别。