![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 95
孤独腹地
计算机视觉
展开
-
Pytorch实现Transformer字符级机器翻译
前言上次发了一篇用seq2seq with attention做机器翻译的博客,今天我们试试Transformer。这篇文章主要介绍Transformer模型的搭建和训练,数据集仍然是上次的博客中使用的数据集。没看过那篇博客的可以先看看构建它数据集的部分再回来看这篇文章。搭建模型重点分析先看看这张经久不衰的Transformer架构图实现Transformer有几个重点Transformer中的三个maskMulti-Head Attention With Add&NormFee原创 2022-04-16 16:56:59 · 1754 阅读 · 0 评论 -
Pytorch实现Seq2Seq(Attention)字符级机器翻译
前言前些天学了seq2seq和transformer,然后用机器翻译练习了一下,今天这篇博客就讲讲带注意力机制的seq2seq模型怎么做机器翻译。数据集准备数据集我使用的数据集是从B站某个视频拿到的,但是忘了是哪个视频了,是已经排好序的中英平行语料,数据不多,两万多条正适合用来做练习。数据集链接发在csdn了,大家可以去下载。下载完成后解压到项目目录即可,可以看到这里有3个文件ch.vec和en.vec分别是中文和英文字典,translate.csv是中英对照的平行语料。注意啊,ch.vec原创 2022-04-15 21:11:06 · 2295 阅读 · 6 评论 -
Bert模型做多标签文本分类
参考链接BERT模型的详细介绍图解BERT模型:从零开始构建BERT(强推)李宏毅2021春机器学习课程我们现在来说,怎么把Bert应用到多标签文本分类的问题上。注意,本文的重点是Bert的应用,对多标签文本分类的介绍并不全面单标签文本分类对应单标签文本分类来说,例如二元的文本分类,我们首先用一层或多层LSTM提取文本序列特征,然后接一个dropout层防止过拟合,最后激活函数采用sigmoid,或者计算损失的时候使用sigmoid交叉熵损失函数。对于多元分类则激活函数采用softmax,其它没原创 2021-12-01 20:49:41 · 12556 阅读 · 34 评论 -
中文分词算法
分词算法基于规则的分词最大匹配法最大匹配法设定一个最大词长度,每次匹配尽可能匹配最长的词算法过程示例最大词长度为4s1s2w结合成分子时null结合成分结合成分子时null结合成结合成分子时null结合成分子时结合/成分子时成分子时结合/成分子成分子时结合/成分子时结合/成分/子时子时结合/成分/子时结合/成分/子时null结合/成分/子/时null实现代码先贴一段统计词频原创 2021-12-28 19:47:45 · 844 阅读 · 0 评论