![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
文章平均质量分 91
JJmaker
一点点地成长
展开
-
使用 tf-idf 提取关键词
tf-idf 的简要介绍: tf:term frequency。某个关键词在整篇文档中出现的频率 idf:inverse document frequency。逆文档频率。某个词在所有文档中出现的频率。 tf 公式: tfij=nij∑knkjtf_{ij} = \frac{n_{ij}}{\sum_k n_{kj}}tfij=∑knkjnij 含义:tf 等于关键词 i 在文档 j 中...原创 2019-10-22 19:38:43 · 1983 阅读 · 1 评论 -
基于Negative Sampling的word2vec
基于Negative Sampling的word2vec CBOW Negative Sample的含义:对于一个中心词w和其上下文Context(w),我们希望在给定Context(w)的条件下,得到w的概率越大越好,得到其他词的概率越小越好,这个w就作为正样本,除w之外的其他词就作为负样本。不过不去词典中所有的词,而是从词典中抽取neg个词作为负样本,实用负采样算法(后面会说)。 通过逻辑回...原创 2018-12-08 21:07:48 · 262 阅读 · 0 评论 -
基于Hierarchical softmax的word2vec
基于Hierarchical softmax的CBOW CBOW: Continuous Bag-of-Words 三层结构:输入层、投影层、输出层 输入层:关于某个词的上下文相关的词向量,设有2c个,记为 V(Context(w)1),V(Context(w)2),…,V(Context(w)2c)V(Context(w)_1), V(Context(w)_2), \dots,V(Context...原创 2018-11-30 15:40:56 · 207 阅读 · 0 评论 -
Attention 机制
为什么要引入注意力机制? 在原本的 encoder-decoder 模型中,无论输入的文本序列有多长,都会讲信息压缩成一个固定维度的向量 c 。维度固定,存储的信息量也就固定了,那么对于长文本序列,会丢失很多信息,这是我们不想看到的。注意力机制的引入就是为了解决这个问题。 注意力机制 加了注意力机制以后,向量 c 的维度依然是固定的,但是在每个时间步, c 的值都会改变,或者说从原来的的...原创 2019-02-25 22:10:05 · 175 阅读 · 0 评论 -
GloVe 与 fasttext
对于一个词 i 出现的次数为 XiX_iXi,在其某个窗口范围内的词 j 出现的次数为 XijX_{ij}Xij,XijX_{ij}Xij 可以直接得到,XiX_iXi 为所有 XijX_{ij}Xij 的累加和。对于 i 来说,共现矩阵要对所有 i 出现的地方计算 XijX_{ij}Xij,最后再累加求和得到 XiX_iXi。共现矩阵局算的是概率值 Pij=P(j∣i)=XijXi...原创 2019-11-30 20:50:56 · 345 阅读 · 0 评论 -
crf
概率图模型 用图来表示变量间相关关系。 分为两类:贝叶斯网络(使用有向无环图表示变量间的依赖关系),马尔可夫网络(使用无向图表示变量间的相关关系) 隐马尔可夫模型 英文名称:Hidden Markov Model(HMM) 是结构最简单的贝叶斯网络。 该模型中有两种变量:状态变量和观测变量。 状态变量 {y1,y2,...,yn}\{y_1, y_2, ... ,y_n\}{y1,y2,......原创 2019-05-22 20:28:24 · 210 阅读 · 0 评论