- 博客(2)
- 收藏
- 关注
RSS订阅原创 NLP技术（从今至古语言模型和算法）
写在前面：训练语言模型到底学到了什么为什么预训练有效呢，大概是因为预训练任务需要模型具有的能力与下游任务需要模型具有的能力有重合部分，这种重合越大，预训练越有效。以及预训练的数据集往往远大于下游任务的数据集，因此通过预训练把两种任务共同需要的能力训练的更好。它的整个流程是这样的：首先输入是token embedding、segmentation和position embedding的叠加，也就说每个单词的embedding是三个embedding的叠加。对于token embedding，token是使用W
2022-06-20 22:30:12
461
3
原创 《Unified Structure Generation for Universal Information Extraction》论文阅读笔记
《Unified Structure Generation for Universal Information Extraction》论文阅读笔记问题与挑战 ：这篇文章出现之前，我们进行信息抽取时会遇到抽取目标多样、复杂异构结构、领域需求多变等问题难以解决。本文贡献：提出了一个统一的文本到结构生成框架，即UIE。它可以通用地建模不同的IE任务，自适应地生成目标结构，并从不同的知识源协作学习通用的IE能力。具体方法：UIE通过结构化提取语言对不同的提取结构进行统一编码，通过基于模式的提示机制（结构模式提示器）
2022-06-09 22:01:11
2272
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人