Few-Shot Text Classification with Induction Network

文章题目：Few-Shot Text Classification with Induction Network
github链接：https://github.com/wuzhiye7/Induction-Network-on-FewRel

简介：

因此提出了对查询集中的每一类，一个更好的更具有一般性的表示，并将其与查询集进行比较。本文提出了Induction Network，将动态规划路径和典型的meta learning框架相结合。来获得更一般的类-智能的表示。

首先：一个编码器提取查询集与支持集的特征。
接着：本文提出的IM模型。将提取的表示作为输入，输出类的更深层表示以及减少噪音。
最后，通过RM模型比较查询集与支持集表示的相似度。

相关工作

对胶囊网络的改进。

问题定义

首先先用大量的数据集进行预训练，训练出一个基本的好的网络模型。
接着在每一个episodic中，再使用和预训练不相同的类的少量抽样作为support set进行训练，使用同类中剩下的元素抽样子集为query set进行预测，梯度更新神经网络参数，最小化交叉熵损失。

模型

模型由三部分组成：编码模型，IM,关系模型。

Encoder

使用双向LSTM。什么是LSTM？
参考资料：https://www.zybuluo.com/hanbingtao/note/433855
谷歌打开

感知器实现：

线性单元

梯度下降优化算法

随机梯度下降算法(Stochastic Gradient Descent, SGD)

神经网络和反向传播算法

神经元