如何将词向量部分向量设置为可训练，其他不可训练

在 tensorflow 中加载预训练的词向量时，存在一个问题，UNK 没有被训练， 如果添加 UNK 需要随机初始化，但是这样不可避免会影响精度，所以，尝试着将词向量设置成部分可训练，部分不可训练。

在写的时候想到，可以将 UNK 和 预训练的词向量分开定义，将词向量的变量设置为不可训练，UNK 设置为可训练，然后将这些变量连接起来即可。代码如下：

import tensorflow as tf

tf.reset_default_graph()
x1 = tf.Variable([1], dtype=tf.float32, trainable=False)
x2 = tf.Variable([10], dtype=tf.float32, trainable=True)
X = tf.concat([x1, x2], axis=0)

labels = [1]
logits = tf.reduce_sum(X, axis=0)
loss = tf.reduce_mean(tf.square(logits - labels))

optimizer = tf.train.AdadeltaOptimizer(0.1)
train = optimizer.minimize(loss)

sess = tf.Session()
sess.run(tf.global_variables_initializer())
print(sess.run(X))
for i in range(10000):
    _, value = sess.run([train, loss])
    if i > 9995: print(sess.run(X), value)

输出为： 

[  1.  10.]
[ 1.          8.49360371] 72.1448
[ 1.          8.49339581] 72.1413
[ 1.         8.4931879] 72.1378
[ 1.       8.49298] 72.1342