nlp
文章平均质量分 70
rd142857
这个作者很懒,什么都没留下…
展开
-
python基于元组list画图(plot list of tuples)
假设有list of tuple。原创 2022-10-26 13:59:01 · 1729 阅读 · 0 评论 -
Transformer简单理解(MT)
linearlayer是一个简单的全连接神经网络,它将decoder堆栈产生的向量投射到一个大得多的向量(维数为vocab的大小),称为logits向量,每个元素对应了每个单词的得分。再经过一个softmax,得分转化为概率,于是概率最高的元素对应的单词就被选取。...原创 2022-08-01 14:29:32 · 241 阅读 · 0 评论 -
GloVe: Global Vectors for Word Representation 阅读笔记
刚开始学cs224n,虽然manning很可爱讲得也很慢但还是 听不懂,读完阅读材料感觉好了不少。贴个pdf共现矩阵中概率的比例可以编码词的meaning components比如对于一个跟词i很接近但是跟词j不接近的词k, Pik/PjkP_{ik}/P_{jk}Pik/Pjk 应当很大;如果k跟词j很接近但是跟i不接近,那么 Pik/PjkP_{ik}/P_{jk}Pik/Pjk 应该很小;如果k跟两个词都很接近或者都不太接近,那么 Pik/PjkP_{ik}/P_{jk}Pik/Pjk原创 2022-07-08 19:28:13 · 215 阅读 · 0 评论 -
cs224n-2022-assignment1
用共现矩阵M( MabM_{ab}Mab :词a在词b上下窗口大小内出现的次数)获得词向量。由于共现矩阵维数过高,采用SVD(事实上是Truncated SVD,以保留最小的几个奇异值)进行降维投影,获得词嵌入并正则化。计算固定窗口大小的共现矩阵****将共现矩阵(N×N)降维到Truncated SVD(N×2),也就是将N维词向量投影到二维空间,形成二维词嵌运行 分析共现矩阵计算共现矩阵,通过SVD获得二维词嵌入,正则化词嵌入用GloVe生成词向量并探索。探究了多义词、近义词反义词、原创 2022-06-27 23:40:53 · 216 阅读 · 0 评论