NLP深度学习 —— CS224学习笔记 1

关键词: 自然语言处理, 词向量, 奇异值分解, Skip-gram, 连续词袋(CBOW), 负抽样

一、简介

自然语言处理任务

简单: 拼写检查, 关键词搜索, 找同义词

中度: 从网页、文件解析信息

困难: 机器翻译, 语义解析, 指代, 问题回答

使用词向量可以把词编码成向量然后通过计算距离来判断相似性,可使用Jaccard, Cosine, Euclidean等

二、词向量

英语有1300万个标志

把标志编码成向量代表词空间中的一个点

存在N维空间N远远小于1300万并能编码所有语义

语义维度可代表时态,单复数,性别等。

one-hot vector

三、基于SVD方法

找到词嵌入

首先遍历大量数据并累加词同时出现数量,以矩阵X的形式,然后对X执行奇异值分解得到USV_T分解,然后使用U的行作为词嵌入。X的选择方式有

1、词-文本矩阵

我们首先大胆猜测相关的词大多出现在同一文本中

遍历数十亿文本,每次词i在文本j中出现时,我们对X _ij加1

这个矩阵会非常巨大,并随文本数量增长

2、基于窗口的同时出现矩阵

逻辑与之前相同,但这里只计算一定规模窗口内围绕特定词出现词数的统计,用这种方法计算语料集中的所有词。

举例,语料集有3个句子,窗口规模为1

得到矩阵

然后对X进行SVD,根据需要取k个奇异值

得到的子矩阵就是我们的词嵌入矩阵,这样我们得到每个词的k维表征。

上述两种方法给出的词向量足以编码语义和语法信息,但存在许多问题:

矩阵维度频繁改变(新词的加入和语料规模改变)

矩阵非常稀疏,大多数词不同时出现

矩阵维度很高,大约10的6次方×10的6次方

平方训练成本高,执行SVD

对X需要进行处理以解决词频率的极度不平衡

解决方法有:

忽略功能词如the he has等

ramp window, 根据文本中词间距离,给同时出现计数赋权重

使用pearson相关性,设置负计数而不是简单计数

基于迭代的方法能更好的解决上述许多问题。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值