课程概要
1.词义
2.Word2vec介绍(学习词汇向量模型(2013年提出))
(当然还有别的方法进行词汇表征(后续会提到))
3.Word2vec目标函数的梯度推导
4.目标函数优化:梯度下降法
一、词义
定义:meaning:(Webster dictionary)用单词、短语等表达的想法;人们想要通过单词、符号等表达想法
某种意义上来说,这非常接近于语言学上最常理解的meaning的含义
利用分类资源,例如处理词义的方法是WordNet
WordNet:意义相近的单词组成一个同义词组(Synset),而同义词组之间则以上-下义,同义-反义,整体-部分以及蕴含等语义关系连接在一起,构成一个由同义词组作为结点,语义关系作为边的网状结构。(给每个单词对应的上下义关系以及同义词集合)
from nltk.corpus import wordnet as wn
panda = wn.synset('panda.n.01')
hyper = lambda s : s.hypernyms()
list(panda.closure(hyper))
如果以上代码不成功需要重新安装nltk库:https://blog.csdn.net/gggggertie/article/details/80148765
以上代码执行后的结果为:
更加详细的wordnet使用方法可参照:https://blog.csdn.net/King_John/article/details/80252594
WordNet的缺点
1.会忽略一些细微差别,比如同义词之间的差别(good, expert是同义词,但存在差别)
2.无法即时收录一些新的单词
3.主观性
4.需要花费人工去修正和创造
5.很难准确去计算单词之间的相似程度
分类表征普遍存在的问题
传统NLP(几乎所有,除了现代深度学习和80年代的神经网络),用原子符号(atomic symbols)来表示单词。
即用one-hot向量(独热编码)来表示。
it is a localist representation.(这是一个本地的表示)
使用原子符号就像是使用一个只有一个位置是1,其他都是0 的大向量。那么,我们有了大