论文阅读：数据库 知识蒸馏

论文：《Towards a Universal Continuous Knowledge Base》
这篇文章的主要工作就是将持续的知识库融入神经网络的训练当中，同时将多种神经网络结合在一起达到不俗的效果。
模型结果：周围的NN表示不同的神经网络，他们训练不同下游任务；M表示一个知识库，用来向神经网络中传输知识。同时一个任务的神经网络训练出来的知识也可以传入到知识库当中，用来辅助另外一个下游任务的训练。
通过这种方法可以实现多种神经网络的知识共享：The knowledge encoded in one neural network can be imported to the CKB, from which the stored knowledge can be exported to another neural network.

1. knowledge encoded
   

2. Using a memory hierarchy to represent the knowledge base