论文分享
石头猿rock
这个作者很懒,什么都没留下…
展开
-
【无标题】
和上面两种方式类似,文本方面用Bert进行编码,音频方面用BiGRU进行编码,设计新的注意力机制来融合两种模态,并且通过该注意力机制动态选择出对分类最有用的局部信息,解决信息冗余问题或其他问题。以语音+文本(双模态)为例,语音模态可以提供音色特征来辅助情感分析任务,接下来就是将语音特征和文本特征融合,来生成更好的句子表示,更好的句子表示可以提高分类精确度。设计一种新的注意力机制,可以参考机器翻译领域对注意力改进的一些技术,新的注意力机制可以融合两种模态,还能解决信息冗余问题或者其他的问题。原创 2022-10-21 19:29:12 · 248 阅读 · 0 评论 -
NER经典论文:LEBERT
LEBERT中引入词汇信息的方式可以有效提高模型对实体边界和类型的识别性能。LEBERT方法在BERT底层注入词汇信息,可以高效地进行词增强LEbert在bert的基础上有两点改进:输入:对于序列中的每一个字符cic_ici都会寻找若干个词wi,jw_{i,j}wi,j,来构成char-word对通过lexicon adapter来将词汇信息加入到bert的某一层模型结构char-words pair:Lexcion Adapter:将char输出到bert经过几层transforme原创 2022-05-18 14:40:11 · 484 阅读 · 0 评论