深度学习
深度学习相关的算法、案例等
zxxsid
我是菜鸟,但不是送快递的。。。
展开
-
深度学习-算法-CRF
对比一下普通的逐帧softmax和CRF的异同。逐帧softmaxCRF主要用于序列标注问题,可以简单理解为是给序列中的每一帧都进行分类,既然是分类,很自然想到将这个序列用CNN或者RNN进行编码后,接一个全连接层用softmax激活,如下图所示逐帧softmax并没有直接考虑输出的上下文关联CRF-条件随机场然而,当我们设计标签时,比如用s、b、m、e的4个标签来做字标注法的分词,目标输出序列本身会带有一些上下文关联,比如s后面就不能接m和e,等等。逐标签softmax并没有考虑转载 2020-09-13 23:14:03 · 2367 阅读 · 0 评论 -
深度学习-模型-Seq2Seq、Attention、Transformer、BERT
Seq2SeqSeq2Seq模型分为encoder层与decoder层,并均由RNN或RNN的变体构成在encode阶段,第一个节点输入一个词,之后的节点输入的是下一个词与前一个节点的hidden state,最终encoder会输出一个context,这个context又作为decoder的输入,每经过一个decoder的节点就输出一个翻译后的词,并把decoder的hidden state作为下一层的输入。该模型对于短文本的翻译来说效果很好,但是其也存在一定的缺点,如果文本稍长一些,就很容转载 2020-09-14 10:29:51 · 2098 阅读 · 0 评论 -
深度学习-算法-LSTM、GRU
LSTM简介LSTM,Long-Short Term Memory RNN,长短期记忆模型循环神经网络LSTM是RNN的一个变种,为了解决RNN模型梯度弥散的问题而提出的;在传统的RNN中,训练算法使用的是BPTT,当时间比较长时,需要回传的残差会指数下降,导致网络权重更新缓慢,无法体现出RNN的长期记忆的效果,所以需要一个存储单元来存储记忆,因此LSTM模型被提出;LSTM和RNN的区别RNN与LSTM最大的区别在于LSTM中最顶层多了一条名为“cell state”的信息传送带,其实原创 2020-09-13 20:48:14 · 913 阅读 · 0 评论