![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
张贤同学
在读研究生,热爱技术,做过Android、嵌入式。现在研究但不限于:java、Android、Deep Learning、GCN。
联系邮箱:zhangxian_tech@163.com
博客地址:blog.zhangxiann.com
公众号:【张贤同学】
展开
-
PyTorch 实现 Skip-gram
代码实现:https://github.com/zhangxiann/Skip-gram这篇文章来说下如何使用 PyTorch 实现 Skip-gram,文中会出现一些数学公式。CBOW 和 Skip-gram 是两种训练得到词向量的方法。其中 CBOW 是从上下文字词推测目标字词,而 Skip-gram 则是从目标字词推测上下文的字词。在大型数据集上,CBOW 比 Skip-gram 效果好;但是在小的数据集上,Skip-gram 比 CBOW 效果好。本文使用 PyTorch 来实现 Skip-.原创 2020-11-06 14:03:25 · 2204 阅读 · 1 评论 -
图解 BERT
本文翻译自:http://jalammar.github.io/illustrated-bert/。通俗易懂,非常适合刚刚开始了解 Bert 的同学。BERT 来源于 Transformer,如果你不知道 Transformer 是什么,你可以查看 图解 Transformer。2018 年是机器学习模型处理文本(或者更准确地说,自然语言处理或 NLP)的转折点。我们对这些方面的理解正在迅速发展:如何最好地表示单词和句子,从而最好地捕捉基本语义和关系?此外,NLP 社区已经发布了非常强大的组件,你.原创 2020-10-17 09:57:38 · 836 阅读 · 0 评论 -
图解 Attention
本文翻译自 https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/序列到序列(seq2seq)模型是一种深度学习模型,在很多任务上都取得了成功,如:机器翻译、文本摘要、图像、图像理解(image captioning)。谷歌翻译在 2016 年年末开始使用这种模型。有 2 篇开创性的论文(Sutskever et al., 2014, Ch.原创 2020-10-13 10:21:07 · 391 阅读 · 2 评论 -
图解 Transformer
本文翻译自 : http://jalammar.github.io/illustrated-transformer/。是我看过的把 Transformer 讲解得最好的文章:这篇文章从输入开始,一步一步演示了数据在 Transformer 中的流动过程。由于看过一些中文翻译的文章,感觉不够好,所以我自己翻译了一个版本,在一些难以直译的地方,我加入了一些原文没有的文字说明,来更好地解释概念。另外,我添加了一些简单的代码,实现了一个基本的 self-attention 以及 multi-head attent.原创 2020-08-25 12:59:44 · 675 阅读 · 0 评论