自然语言处理
CC‘s World
这个作者很懒,什么都没留下…
展开
-
【自然语言处理】Seq2Seq网络和attention机制
【seq2seq】seq2seq网络由两个独立的循环神经网络组成,被称为编码器和解码器,通常使用LSTM或GRU实现。编码器处理输入数据,其目标是理解输入信息并表示在编码器的最终状态中。解码器从编码器的最终状态开始,逐词生成目标输出的序列,解码器在每个时刻的输入为上一时刻的输出。seq2seq最常用的场景就是机器翻译,把输入串分词并表示成词向量,每个时刻一个词语输入到编码网络中,并利用EOS作为句子末尾的标记。句子输入完成后,得到一个编码器,这时可以用编码器的隐藏层状态来初始化解码器,输入到解码器的第一原创 2020-05-12 17:27:06 · 436 阅读 · 0 评论 -
【自然语言处理】 LSTM和GRU
【LSTM】为了解决长期依赖的问题,对RNN进行改进提出了LSTM。LSTM通过设计门限结构解决长期依赖问题,在标准RNN的基础上增加了四个神经网络层,通过LSTM网络包括四个输入:当前时刻的输入信息、遗忘门、输入门、输出门和当前时刻网络的输出。各个门上的激活函数使用Sigmoid,其输出在0-1之间,可以定义各个门是否被打开或者打开的程度,赋予了它去除或者添加信息的能力。遗忘门:遗忘门作用于t-1时刻的记忆单元,根据输入和上一时刻的状态决定之前的信息有多少要被保留。输入门:输入门决定更新记忆单元的原创 2020-05-12 13:31:13 · 393 阅读 · 0 评论 -
【自然语言处理】 知识融入方法
本文参考并引用了知识图谱嵌入(KGE):方法和应用的综述知识图是由实体和实体间的关系构成的图,图中的节点代表实体,边代表实体间的关系。一个fact由(头实体、关系、尾实体)三元组构成,表示头实体和尾实体通过这一特定的关系连接在一起。虽然这种表示方式在结构化数据方面很有效,但是却使得知识图难以操作。有很多知识图谱嵌入的方法解决了这一问题,知识图谱嵌入的思想是嵌入知识图的组件,既能将实体和实体之间...原创 2020-04-08 13:12:03 · 2004 阅读 · 0 评论 -
【自然语言处理】 词向量
【传统的语义向量表示方法】one-hot:每个词表示为一个很长的向量,向量的维度是词表大小,其中只有一个维度的值为1,其它元素为0.词袋模型(BOW):将语料库中所有词语装进一个袋子里,不考虑其词法和语序的问题,即每个词语都是独立的,语料库中所有的词组成一个清单进行映射匹配。对于每一个句子或文档,其对应的下标与映射数组的下标相匹配,其值为该词语出现的次数。例如:该例子来源于百度百科以下是...原创 2020-04-07 20:08:25 · 1247 阅读 · 0 评论 -
【自然语言处理】 Transformer(Attention is all you need)
在这篇论文提出Transformer之前,序列模型都是基于Seq2Seq,用Encoder提取语义信息C,再从语义信息Decoder成另一个序列,其中Encoder和Decoder都是非常复杂的RNN或者CNN组成。Transformer是第一个完全依靠self-attention机制来计算其输入和输出表示的模型,而无需使用序列的对齐的RNN或者卷积,最早是用于机器翻译任务,并且达到了STOA效...原创 2020-04-07 13:02:24 · 663 阅读 · 0 评论