machine learning
文章平均质量分 85
粥老师
NLP算法工程师。GitHub:https://github.com/luozhouyang
展开
-
N-Grams
给一系列的词语计算概率的模型叫做语言模型(Language Models),其中,n-gram是最简单的一种。一个n-gram就是一个长度为N的词语组成的序列: N=2,则是2-gram(bigram) N=3,则是3-gram(trigram) 一个简单的例子 有一个任务,要计算P(w∣h)P(w\vert h)P(w∣h),即给定历史hhh计算www的概率。假设h=its wat...原创 2018-10-19 16:37:13 · 2952 阅读 · 1 评论 -
Transformer的PyTorch实现
本文由罗周杨原创,转载请注明作者和出处。未经授权,不得用于商业用途 Google 2017年的论文 Attention is all you need 阐释了什么叫做大道至简!该论文提出了Transformer模型,完全基于Attention mechanism,抛弃了传统的RNN和CNN。 我们根据论文的结构图,一步一步使用 PyTorch 实现这个Transformer模型。 Transf...原创 2018-10-19 16:42:42 · 43430 阅读 · 32 评论 -
矢量语义——从TF-IDF到Word2Vec你所需要知道的一切!
本文由罗周杨原创,转载请注明作者和出处。未经授权,不得用于商业用途 斯坦福经典NLP教材Speech and Language Processing-Vector Semantics学习笔记。 我们该如何表示一个单词的意思呢?你可能会想到其中的一种,用一个向量来表示一个单词!没错,这个章节就是讲单词的表示。 文档和向量 如果用向量来表示一个文档,该怎么表示呢? 假设现在有四个文档,我们统计各个...原创 2018-10-19 16:48:00 · 8120 阅读 · 5 评论