![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CS224 Natural Language Processing w
sansheng su
这个作者很懒,什么都没留下…
展开
-
斯坦福大学-自然语言处理与深度学习(CS224n) 笔记 第二课 词向量(word vector)
课程概要1、单词含义2、word2vec介绍一、单词含义含义(meaning)指的是由单词表达的观点。我们一般使用单词含义的方法是,使用像WordNet那样的分类词典,给每个单词对应的上下义关系以及同义词集合(具体可见Introduction to NLP by Chris & Dan翻译 第十九课 单词含义与相似性第二节)。上面的这种方法会存在的问题有:会忽略一些细微差别,比如...翻译 2018-10-31 13:32:12 · 1081 阅读 · 0 评论 -
斯坦福大学-自然语言处理与深度学习(CS224n)笔记 第十三课 NLP中的卷积神经网络(CNN)
课程概要1、卷积神经网络(CNN)为什么需要在自然语言处理中引入卷积神经网络?什么是卷积?单层的卷积多通道(Multi-channel)在完成卷积之后,如何进行分类任务?2、训练技巧3、CNN的一些变体应用4、模型比较一、卷积神经网络(CNN)为什么需要在自然语言处理中引入卷积神经网络?因为在RNN无法再忽视前文的情况下,获得词组的信息。卷积神经网络的一个观点是:尝试...翻译 2019-04-04 19:59:44 · 638 阅读 · 0 评论 -
斯坦福大学-自然语言处理与深度学习(CS224n)笔记 第十一课 NMT与RNN的进一步讨论
本课概要1、gated recurrent units比如GRUs和LSTM的再次回顾2、机器翻译评估3、单词生成问题一、 gated recurrent units比如GRUs和LSTM的再次回顾在RNN的后馈计算中,很容易出现梯度消失的问题。梯度消失的原因是因为RNN结构中,所有的节点是一个一个按顺序相连的,所以权值矩阵就会依次相乘,很容易造成梯度消失。而在GRUs中,长距离的节...翻译 2018-11-19 21:23:17 · 693 阅读 · 0 评论 -
斯坦福大学-自然语言处理与深度学习(CS224n)笔记 第八课 循环神经网络
一、传统语言模型语言模型可以计算一些系列的单词的概率P(w1,…,wT)可以用来进行机器翻译单词顺序:p(the cat is small) > p(small the is cat)单词选择:p(walking home after school) > p(walking house after school)对于单词的概率估计一般是依据马尔可夫假设,我们认为只有单...翻译 2018-11-12 15:37:12 · 980 阅读 · 0 评论 -
斯坦福大学-自然语言处理与深度学习(CS224n)笔记 第十课 神经机器翻译(neural machine translation)与attention模型
一、机器翻译(MT)机器翻译是一个十分经典的语言理解的测试,涉及语言分析(language analysis)与语言生成(language generation)。机器翻译是一个巨大的商业市场,每年的市场规模达到400亿美元,在欧洲和亚洲都有市场。神经机器翻译(NMT):神经机器翻译是利用一个巨大的神经网络来为整体机器翻译过程建模。1、神经机器翻译的历史回顾最早开始于1987年,All...翻译 2018-11-15 17:51:20 · 1070 阅读 · 0 评论 -
斯坦福大学-自然语言处理与深度学习(CS224n) 笔记 第七课 tensorflow教程
1、什么是tensorflow?针对数量计算的使用数据流图流程图开源软件库由Google Brain团队开发的机器学习的研究Tensorflow 是表现机器学习算法的接口,以及执行算法的执行器。2、编程模型主要思想:将数量计算表现为图(graph)图节点表示是针对输入的操作(operation)以及输出图边表示节点之间流动的张量(tensor)变量(variable)是状...翻译 2018-11-08 15:22:55 · 1062 阅读 · 0 评论 -
斯坦福大学-自然语言处理与深度学习(CS224n)笔记 第九课 应用于机器翻译的RNN、GRU与LSTM
一、一些重要的概念的回顾二、传统的统计机器翻译方法使用平行语料库(parallel),有相互对应的两种语言有一个源语言f(source language),一个目标语言e(target language)使用贝叶斯规则来构建概率公式,其中翻译模型p(f|e)是基于平行语料库(parallel)来进行训练的,语言模型p(e)是基于只有英语的语料库进行训练的1、第一步:对应(ass...翻译 2018-11-13 15:56:49 · 871 阅读 · 0 评论 -
斯坦福大学-自然语言处理与深度学习(CS224n) 笔记 第五课 反向传播与项目指导
课程概要1、反向传播2、针对反向传播的不同观点3、项目指导一、反向传播的解释一任务:和上一课一样,判断中心词是否是一个命名实体地点,窗口定义和最后一层的函数都是一样的结构:含有两个隐层...翻译 2018-11-05 15:58:57 · 893 阅读 · 0 评论 -
斯坦福大学-自然语言处理与深度学习(CS224n) 笔记 第四课 单词窗口分类与神经网络
1、分类问题背景2、3、窗口分类&一、分类问题背景1、分类的一些主要符号说到分类任务,我们一般会有一个数据集包含样本:{xi,yi}i=1N\{x_i , y_i\}^N_{i=1}{xi,yi}i=1Nxi表示输入,比如单词(序号或者向量),上下文窗口,句子,文档等等yi表示我们尝试预测的标签,比如分类:情感、命名实体、买卖决策;其他的单词;或者是多单词的句子2、...翻译 2018-11-04 15:57:19 · 1287 阅读 · 0 评论 -
斯坦福大学-自然语言处理与深度学习(CS224n) 笔记 第六课 依存句法分析
课程概要1、句法结构:成分句法、依存句法2、依存语法3、 Transition-based依存句法分析4、神经网络的依存句法分析一、句法结构:成分句法、依存句法参考斯坦福大学-自然语言处理入门 笔记 第十三课 统计语言句法分析(prasing)二、依存语法参考斯坦福大学-自然语言处理入门 笔记 第十六课 依存句法分析(Dependency Parsing)第一节三、Transit...翻译 2018-11-06 21:37:39 · 2872 阅读 · 0 评论 -
斯坦福大学-自然语言处理与深度学习(CS224n) 笔记 第三课 词向量(2)
一、word2vec1、回顾:skip-gramsword2vec的主要步骤是遍历整个语料库,利用每个窗口的中心词来预测上下文的单词,然后对每个这样的窗口利用SGD来进行参数的更新。对于每一个窗口而言,我们只有2m+1个单词(其中m表示窗口的半径),因此我们计算出来的梯度向量是十分稀疏的。对于2dv的参数而言,我们只能更新一小部分。因此一个解决方法是提供一个单词到词向量的哈希映射。2、负...翻译 2018-11-01 21:10:50 · 1076 阅读 · 0 评论 -
斯坦福大学-自然语言处理与深度学习(CS224n) 笔记 第一课 介绍
额翻译 2019-04-02 21:25:38 · 1566 阅读 · 1 评论 -
斯坦福大学-自然语言处理与深度学习(CS224n)笔记 第十二课 语音处理的端对端模型
一、自动语音识别(ASR)将语音信号转化为转为对应的文字信息。为什么使用ASR?语音是与人类交流的一个自然的交互方式可以进行自由交流人类与之交互不需要学习新技术有更多的应用控制简单的设备:车内设备、家用设备等等和智能设备交互:聊天机器人等1、语音识别:经典的方法建立一个文本序列Y= y1y2…yL到音频序列X = x1x2…xT的统计模型。基于N元模型,然后利用...翻译 2019-04-03 20:09:01 · 634 阅读 · 0 评论