1.nlp概述。
2.词法分析。
词向量
核心思想:用周围的词,来表示该词的意思。
重点:word2vec
概率p,语法和语义的约束
求最大似然(两个公式,softmax)
表示一个词:方案1:onehot(无法看出相似度)
2.贡献矩阵
language model 解决词向量(链式法)SG,CBOW
提高效率:1.负采样 2.SGD随机
如何评估一个词好坏?1、语义相似度(人为和跑出来的结果进行比较) 2、用在其他地方看能否提升性能
1.nlp概述。
2.词法分析。
词向量
核心思想:用周围的词,来表示该词的意思。
重点:word2vec
概率p,语法和语义的约束
求最大似然(两个公式,softmax)
表示一个词:方案1:onehot(无法看出相似度)
2.贡献矩阵
language model 解决词向量(链式法)SG,CBOW
提高效率:1.负采样 2.SGD随机
如何评估一个词好坏?1、语义相似度(人为和跑出来的结果进行比较) 2、用在其他地方看能否提升性能