- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 BPE分词、LabelSmoothing标签平滑正则化
BPE(Byte Pair Encoding)分词BPE是一种根据字节对进行编码的算法。主要目的是为了数据压缩，算法描述为字符串里频率最常见的一对字符被一个没有在这个字符中出现的字符代替的层层迭代过程。基本思路是将使用最频繁的字节用一个新的字节组合代替，比如用字符的n-gram替换各个字符。例如，假设(‘A’, ‘B’) 经常顺序出现，则用一个新的标志’AB’来代替它们。Transformer NLP 预训练模型都通过 embedding 词典来表征词义，当遇见没见过的词的时候，以前是用""代替，这样会
2021-09-17 21:13:53
889
原创 Transformer详解
文章目录0. Transformer直观认识1. Positional Encoding2. Self Attention Mechanismself-attention矩阵运算Multi-Head Attention（多头注意力机制）Attention代码Padding Mask3.残差连接和Layer Normalization残差连接Layer Normalization4.Transformer Encoder整体架构5.Transformer Decoder整体架构Masked Self-Atte
2021-09-13 21:56:22
2460
原创 LSTM网络
文章目录1.LSTM网络2.LSTM核心思想3.逐步理解LSTM3.1 遗忘门3.2 输入门3.3 输出门1.LSTM网络 长短期记忆网络（ Long Short-Term Memory Network ， LSTM ） [Gers et al.,2000; Hochreiter et al., 1997] 是循环神经网络的一个变体，长短期记忆是指长的“短期记忆”，可以有效地解决简单循环神经网络的梯度爆炸或消失问题．2.LSTM核心思想 LSTM 的关键是 cell 状态，即记忆单元c。c
2021-09-06 18:29:56
992
原创 文本分类：TextCNN（pytorch实现）
TextCNN原理：核心点在于使用卷积来捕捉局部相关性，在文本分类任务中可以利用CNN提取句子中类似n-gram的关键信息。textcnn详细过程：第一层是图中最左边的7乘5的句子矩阵，每行是词向量，维度=5。然后经过不同 filter_size的一维卷积层（这里是2,3,4），每个filter_size 有filter_num（这里是2）个输出 channel。第三层是一个1-max pooling层，这样不同长度句子经过pooling层之后都能变成定长的表示了，最后接一层全连接的 softm
2021-09-01 17:28:02
2150
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人