斯坦福深度自然语言处理课
CS224n 斯坦福深度自然语言处理课学习后的理解和相关知识的整理
知更鸟女孩
改变不了沙漠,就长成仙人掌
展开
-
朴素贝叶斯和情感分类
目录朴素贝叶斯和情感分类1 朴素贝叶斯分类器2 训练朴素贝叶斯分类器3 例子4 情感分析优化5 朴素贝叶斯作为一种语言模型6 评估指标:精确度,召回率,F-measure7 测试集和交叉验证8 特征选择9 小结朴素贝叶斯和情感分类我们将介绍朴素贝叶斯算法,并将其应用于文本分类,即为整个文本或文档分配标签或类别。我们关注一个常见的文本分类任务,情感分析...原创 2019-08-01 17:05:26 · 5297 阅读 · 0 评论 -
循环神经网络RNN
目录循环神经网络RNN1 RNN简介1.1 什么是RNN?1.2 RNN可以做什么1.3 RNN扩展2实现RNN2.1 语言模型2.2 训练数据和预处理2.3 建立RNN3 理解反向传播时间算法和梯度消失问题3.1 反向传播时间(BPTT)3.2 梯度消失4 LSTM(长期短期记忆)网络和GRU(门控循环单位)4.1 LSTM网络4.2...原创 2019-07-30 20:26:43 · 565 阅读 · 0 评论 -
GloVe模型介绍
GloVe本模型结合了以下两个主要模型族的优点:全局矩阵分解和局部上下文窗口方法。我们的模型只训练单词-单词共现矩阵中的非零元素,而不是整个稀疏矩阵或单个上下文窗口的大型语料库,从而有效地利用统计信息。该模型生成了一个具有意义子结构的向量空间,其在最近的一次单词类比任务中的性能为75%。在相似性任务和命名实体识别方面,它也优于相关模型。1 介绍大多数的词向量方法都依赖于词向量对之间的距...原创 2019-07-30 11:11:23 · 9802 阅读 · 0 评论 -
向量空间中词表示的有效估计
目录向量空间中词表示的有效估计1 简介2 模型构建2.1 前馈神经网络语言模型(NNLM)2.2 递归神经网络语言模型(RNNLM)2.3 神经网络的并行训练3 新的对数线性模型3.1 连续的词袋模型3.2 连续Skip-gram模型4 结果4.1 任务描述4.2 最大化精度4.3 模型架构比较4.4 模型大规模并行训练4.5 微软研究语...原创 2019-07-29 17:03:17 · 936 阅读 · 0 评论 -
单词和短语的分布式表示及其组合性
目录单词和短语的分布式表示及其组合性1 介绍2 The Skip-gram Model2.1 分层Softmax2.2 负采样2.3 频繁词的子抽样3 实验4 学习短语4.1短语Skip-Gram结果5 添加组合6 结论单词和短语的分布式表示及其组合性单词表示的一个固有限制是它们对单词顺序的忽视并且它们无法表示惯用短语。例如,“Canada”和“...原创 2019-07-28 21:02:14 · 1009 阅读 · 0 评论 -
基于TensorFlow实现skip-gram模型
目录基于TensorFlow实现skip-gram模型(实现篇)5.1 导入包5.2 加载数据5.3 数据预处理5.4 采样5.5 构造batch5.6 模型构建5.7 验证完整代码基于TensorFlow实现skip-gram模型(实现篇)本篇实战代码的目的主要是加深对Skip-Gram模型中一些思想和trick的理解。由于受限于语料规模、语料质量、算...转载 2019-07-28 17:11:37 · 1333 阅读 · 1 评论 -
理解 Word2Vec 之 Skip-Gram 模型
目录Word2Vec 之 Skip-Gram 模型1 什么是Word2Vec和Embeddings?2 模型(结构篇)2.1 The Fake Task2.2 模型细节2.3 隐层2.4 输出层3 直觉上的理解4 如何在skip-gram模型上进行高效的训练(训练篇)4.1 Word pairs and "phases"4.2 对高频词抽样4.3 ...转载 2019-07-28 15:42:14 · 1457 阅读 · 1 评论 -
词向量表示
一、词向量简单介绍1、如何在计算机中获取单词的有用的meaning? 通常的方法是:使用WordNet,包含一系列的同义词集和上下文词集2、WordNet资源存在的问题(1)有些词语仅表达了部分意思,还有其他意义未能完全表达出来(2)无法做到up-to-data,一些单词的意思还不存在(3)主观的影响(4)需要人力去创建和维护(5)对于意义相近的词难以精确...原创 2019-07-28 15:46:27 · 788 阅读 · 0 评论 -
凸优化概述
目录凸优化概述1 概述2 凸集3 凸方法3.1 凸性的一阶条件3.2 凸性的二阶条件3.3 詹森不等式3.4 分段集4 凸优化问题凸优化概述1 概述也就是说,给定一个函数,我们想找到使最小化(或最大化)。目前已有的方法包含:最小二乘、逻辑回归和支持向量机。然而,对于一类特殊的优化问题称为凸优化问题,我们可以在很多情况下有效地找到全局解。2 ...原创 2019-07-28 11:21:09 · 4218 阅读 · 0 评论 -
NLP和深度学习简介
1、什么是NLP?(1)自然语言处理是计算机科学、人工智能、语言学的交叉领域。(2)目标:让计算机处理或“理解”自然,为了完成有用的任务而使用的语言,例如, •完成任务,比如约会、买东西 •语言翻译 •问题回答 •Siri、谷歌助理、facebook m、cortana……(3)NLP Levels(4)nlp应用程序(应用范围从简单到复...原创 2019-07-29 17:04:45 · 2952 阅读 · 0 评论