在 tensorflow 中加载预训练的词向量时,存在一个问题,UNK 没有被训练, 如果添加 UNK 需要随机初始化,但是这样不可避免会影响精度,所以,尝试着将词向量设置成部分可训练,部分不可训练。
在写的时候想到,可以将 UNK 和 预训练的词向量分开定义,将词向量的变量设置为不可训练,UNK 设置为可训练,然后将这些变量连接起来即可。代码如下:
import tensorflow as tf
tf.reset_default_graph()
x1 = tf.Variable([1], dtype=tf.float32, trainable=False)
x2 = tf.Variable([10], dtype=tf.float32, trainable=True)
X = tf.concat([x1, x2], axis=0)
labels = [1]
logits = tf.reduce_sum(X, axis=0)
loss = tf.reduce_mean(tf.square(logits - labels))
optimizer = tf.train.AdadeltaOptimizer(0.1)
train = optimizer.minimize(loss)
sess = tf.Session()
sess.run(tf.global_variables_initializer())
print(sess.run(X))
for i in range(10000):
_, value = sess.run([train, loss])
if i > 9995: print(sess.run(X), value)
输出为:
[ 1. 10.]
[ 1. 8.49360371] 72.1448
[ 1. 8.49339581] 72.1413
[ 1. 8.4931879] 72.1378
[ 1. 8.49298] 72.1342