Berlin

关于tf.Variable()与tf.get_variable()的区别，很多博客都在罗列传入参数的不同，然后推荐使用tf.get_variable()，因为更适合复用。本人才疏学浅，看不出参数不同怎么就会影响复用。通过阅读这篇博客，加以自己的理解，阐述两者的区别和为何tf.get_variable()更适合参数复用。tf.Variable()对于tf.Variable()定义的变量，如x = tf.Variable(3, name="x")。当多次调用x时，系统会自动给变量编号x，x_1，x_2来解决

前情提要：在模型训练过程中通过dev进行验证，寻找最优的参数组合。在训练结束后选择最优dev的情况进行测试。可通过Saver进行保存，而后恢复的方法，常见的恢复方法有两种：1.通过restore函数进行恢复；2.通过加载meta的方法恢复图模型。本文记录Re2模型中使用的第三种方法：通过checkpoint恢复部分参数，并使用该参数重新实例化model对象，而后进行验证。该方法适用于模块化较强的大...

前情提要：本人在使用Wasserstein距离进行距离分布的训练时，按照WGAN的原文，“建议不要用基于动量的优化算法（包括momentum和Adam），推荐RMSProp”，同时为了满足Lipschitz连续条件，具体在算法实现中，需要每次更新完后把所有参数clip到某一范围，如[-c,c]。因此在具体实现过程中的基本思路：使用compute_gradients()计算梯度，使用clip将参数...