NLP词汇解释

NLP名词

• 多特征融合：采用现有的多个特征集生成新的融合特征

• 特征工程:特征提取、特征降维、特征融合等

• 低资源：资源比较少

• 双向注意力机制：

• 注意力机制：

• 关键词生成方法：抽取式方法和生成式方法

• ResNet

• 双向RNN
  

• RNN
  
  

• LSTM
  

• GRU
  

• Reformer

• performer

• Sinkhorn

• Local Attention

• Synthesizer

• Linear Transformer

• informer

• swin transformers

• seq2seq（sequence-to-sequence）：解决不等长序列的问题

• syntactic parsing

• multi-class classification

• multi-label classification

• 交叉信息熵

• 归一化：

• AT Decoder

• ANT Decoder

• 向量维度越大，点乘方差越大

• transformer 中Add 借鉴了残差网络，防止退化

• 残差网络

• norm 对向量进行标准化，达到加速收敛

• 特征提取

• 模式识别

• gpt-3：基于深度学习原理的语言预测模型（decoder 聚焦于生成）

• bert （encoder 聚焦于提取，抽取，简化）

• Alphacode（生成代码） AlphaGo（下围棋） AlphaFoLD（蛋白质结构）

• pytorch中的storage指的是连续的内存块，而tensor则是映射到storage的视图，他把单条的内存区域映射成了n维的空间视图。

信息抽取研究方向

• 信息抽取：命名实体识别、指代消解、关系抽取和事件抽取
• 命名实体识别(NER):是信息
  抽取的基础性工作，其任务是从文本中识别出诸如人名、组织名、日期、时间、地点、特定的数字形式等内容，并为之添加相应的标注信息，为信息抽取后续工作提供便利
• 指代消解：回指，共指，简化思维
• 关系抽取：获取文本中实体之间存在的语法或语义上的联系
• 事件抽取：含有事件信息的非结构化文本中抽取出用户感兴趣的事件信息，将用自然语言表达的事件以结构化的形式呈现出来。
• KDD ： 帮助人类从大量数字化数据中提取有用和以前未知的信息 (即知识)的工具和理论。
• 特征维度：
• 元事件抽取：基础级，一次动作或状态
• 主题事件抽取：围绕某一确定主题抽取事件，多类元事件组成
• 触发词：触发事件的词，触发事件的核心词
• 事件论元：与事件相关的实体和实体属性，包括时间、地点、人物等，事件的参与者
• 论元角色：实体在事件中扮演的角色的信息
• 事件抽取数据集：ACE2005，TAC KBP 2017和 MUC-4等数据集是通用领域常用的数据集。
  
• 事件抽取方法的总结
  
• 事件抽取模式匹配方法：首先，通过词法分析和句法分析等局部文本分析得到事件模式抽取库；然后，在事件模式的指导下，将待抽取的事件句子与相应的模式进行匹配，从而对某种事件类型进行检测和抽取。
  
• 有监督：用有标签的数据训练；
• 无监督：用无标签的数据训练；
• 半监督：同时用有标签和无标签的数据进行训练。最近非常火热，此领域的发展也非常迅速，先前通常是两阶段的训练，先用（较小规模的）有标签数据训练一个Teacher模型，再用这个模型对（较大规模的）无标签数据预测伪标签，作为Student模型的训练数据；目前已经有很多直接end-to-end地训练，大大减少半监督训练的工作；
• 自监督：在无标注数据上训练，通过一些方法让模型学习到数据的inner representation，再接下游任务，例如加一个mlp作为分类器等。但接了下游任务之后还是需要在特定的有标签数据上finetune，只是有时候可以选择把前面的层完全固定，只finetune后面接的网络的参数。
• 弱监督：用包含噪声的有标签数据训练。