Teach_student

一、背景及需求：多模型—>单模型

原始bagging5个模型

每个模型的F1值：

多模型融合效果：

现在是要把5个模型通过T-S生成1个模型。

二、T-S简介

三、实现

• 首先是从已知的模型中取出loss，这里需要重新run graph，命名空间很重要，feed数据与模型的输入保持一致，
  

input_node是输入节点的名字，需要获取的loss节点的名字也需要知道。

这样就可以从当前输入数据中run单个模型获得teacher loss。

将多个模型的loss相加求平均即为我们所需要的teacher 信息。
然后把他加到当前student模型的loss上进行训练即可，

注意在这里在一个batch里loss是一个数，batch时loss输入为常数。

最后的student结果为：

总结：

student结果在teacher和单模型之间。