NLP
文章平均质量分 87
是不是测评机针对我
这个作者很懒,什么都没留下…
展开
-
NLP笔记 CS224n (6) —— RNN 和 Language Model
传送门 笔者在总结时跳过了第3,4,5节课。其中第3,4节课分别介绍了神经网络和反向传播,笔者假定读者有着基本的机器学习和神经网络相关的知识,所以掠过了这两章内容。其中第5节课介绍了语法结构,但是因为与笔者目前方向不一致,故略去。 本节为第6节课,介绍了Language Model并且以此为契机引入了RNN模型。 Language Model 语言模型 天气预报说今天下雨,所以出门要________ 语言模型要做的事情,就是给出一段文字,由模型生成其后的内容。语言模型是NLP领域内一个bench mark原创 2020-07-06 21:04:04 · 202 阅读 · 0 评论 -
NLP笔记 CS224n (2) —— 词向量与词传感器
传送门 Word2Vec Optimization 梯度下降,随机梯度下降。 实质上是无监督学习,每个batch的最小单位可以是一组word2word的映射,输入值是一个中心词,输出值是一个其对应的outside词,要学习是从中心词要其对于outside词的映射,训练结束后只需要过程中的隐藏层信息,即词向量。 More Detials of Word2Vec 一个词要两个向量的原因? 为了更容易优化,但是一个也行 事后可以对两个向量取平均值 两种变种模型 Skip Grams 即由中心词预测上下文原创 2020-07-04 17:48:56 · 156 阅读 · 0 评论 -
NLP笔记 CS224n(1)—— 词向量
词向量 NLP 处理文本,所以在进行处理之前,要先解决文本的表示。文本由词组成,本文讨论了表示词汇的几种方案。 WordNet 这种方法基于如下思想:用词汇的意义来代表词。所以我们可以建立若干个集合,每个集合代表一组同义词,每个词都可以映射到某个集合中,表示这个词汇的意思。 其优点在于可以很好的处理词汇之间的联系,即同义词。但是缺点同样明显: 忽略了同义词之间的差异,忽略了一词多义性 难以迭代更新,忽略词语的新含义 基于主观判断 需要专家进行手动构造 不能准确计算词汇间的相关性 Discrete Sym原创 2020-07-02 16:43:24 · 176 阅读 · 0 评论