解决Bert预训练模型过大的问题

预训练模型

问题：关于BERT预训练模型过大，达到1.3G。

相关问题出现原因：

• 其实Bert在保留预训练模型的时候不仅保留了结果参数，同时还保存了大量的中间参数，所以才会达到1G以上。

解决方案：过滤中间参数

sess = tf.Session()
imported_meta = tf.train.import_meta_graph('./model.ckpt-322.meta')
imported_meta.restore(sess, './model.ckpt-322')
my_vars = []
for var in tf.all_variables():
    if 'adam_v' not in var.name and 'adam_m' not in var.name:
        my_vars.append(var)
saver = tf.train.Saver(my_vars)
saver.save(sess, './model.ckpt')

效果说明：

• 执行完以上代码之后，新保存的模型降到了400M左右，即：问题解决。
• 亲测有效！！！

相关参考外网链接：

https://github.com/google-research/bert/issues/99