小样本学习
文章平均质量分 91
Jeu
本科阶段专业是光信息科学与技术,研究生阶段课题是目标跟踪算法的研究,毕业后从事nlp相关领域的工作,包括对话系统、摘要生成、实体识别等
展开
-
prompt范式
1-范式发展历程: P1. 非神经网络时代的完全监督学习 (Fully Supervised Learning, Non-Neural Network)--特征工程 P2. 基于神经网络的完全监督学习 (Fully Supervised Learning, Neural Network)--架构工程 P3. 预训练,精调范式 (Pre-train, Fine-tune)--目标工程 P4. 预训练,提示,预测范式(Pre-train, Prompt, Predict)--prompt挖掘工程 从原创 2021-08-16 15:15:16 · 2678 阅读 · 0 评论 -
阿里few shot learning文章的个人理解
先贴结构图: 1、每次C类,每类K样本,剩下的是测试集。 2、encoder层是BiLSTM+attention,得到编码向量,假设隐含层个数是96个,句子长度是30,暂不考虑batch_size,那么每个字的隐含层就是1*192向量,整个H就是30*192,那么attention的最后输出就是一个1*192的向量(计算公式如下,权重矩阵W是30*192的矩阵)。 ...原创 2020-01-05 16:55:58 · 525 阅读 · 0 评论