深度学习与自然语言处理
文章平均质量分 85
本专栏为斯坦福CS224d课程的课程内容汉化与笔记,课程主要针对深度学习与其在自然语言处理上的应用。后期会包含视频的汉化,欢迎关注。
寒小阳
对机器学习/数据挖掘/算法感兴趣,并从事相关工作。『我们是一群热爱机器学习,喜欢交流分享的小伙伴,希望通过“ML学分计划”交流机器学习相关的知识,认识更多的朋友。Q_Q群号 : 2000人群169492443(已满), 2000人群564538990(已满), 2000人群285273721,从业和研究人员请加群472059892,欢迎加入获取资料,分享和讨论相关知识』
展开
-
深度学习与自然语言处理(8)_斯坦福cs224d RNN,MV-RNN与RNTN
这篇课堂笔记将介绍不同类型的RNN(递归神经网络),并介绍它在NLP领域的应用和优势。在这篇课笔记中,我们会一起学习一种新的模型,这种模型绝对是以前介绍的那种递归神经网络的加强版!递归神经网络(RNNs)十分适用于有层次的、本身就有递归结构的数据集。原创 2016-07-30 21:23:06 · 15831 阅读 · 8 评论 -
深度学习与自然语言处理(7)_斯坦福cs224d 语言模型,RNN,LSTM与GRU
说明:本文为斯坦福大学CS224d课程的中文版内容笔记,已得到斯坦福大学课程@Richard Socher教授的授权翻译与发表1.语言模型语言模型用于对特定序列的一系列词汇的出现概率进行计算。一个长度为m的词汇序列{w1,…,wm}的联合概率被表示为P(w1,…,wm)。由于在得到具体的词汇之前我们会先知道词汇的数量,词汇wi的属性变化会根据其在输入文档中的位置而定,而联合概率P(w1,…,wm)的计原创 2016-07-17 15:27:29 · 53349 阅读 · 3 评论 -
深度学习与自然语言处理(6)_斯坦福cs224d 一起来学Tensorflow part1
之前的课程里介绍了自然语言处理当中的一些问题,以及设计出来的一些相应的算法。research的东西还是落地到工程应用上比较有价值,之前也手撸过一些toy project,不过这些实现要用在工程中,总是有那么些虚的,毕竟稳定性和效率未必能够保证。所幸的是,深度学习热度持续升温的大环境下,各种大神和各家大厂也陆续造福民众,开源了一些深度学习框架,在这些开源框架的基础上去搭建和实现自己想要的深度学习网络结构就简单和稳定得多原创 2016-07-10 13:12:18 · 28083 阅读 · 10 评论 -
深度学习与自然语言处理(5)_斯坦福cs224d 大作业测验2与解答
本文为斯坦福大学CS224d课程的第二次作业内容,原本打算把作业和答案做个编排,一起发出来给大家看,无奈代码量有点大,贴上来以后文章篇幅过长,于是乎题目的代码解答放到了百度云盘,欢迎自行下载和运行或者调整原创 2016-07-03 16:30:20 · 32043 阅读 · 0 评论 -
深度学习与自然语言处理(4)_斯坦福cs224d 大作业测验1与解答
前面一个接一个的Lecture,看得老衲自己也是一脸懵逼,不过你以为你做一个安安静静的美男子(总感觉有勇气做deep learning的女生也是一条汉纸)就能在Stanford这样的学校顺利毕业啦?图样图森破,除掉极高的内容学习梯度,这种顶尖大学的作业和考试一样会让你突(tong)飞(bu)猛(yu)进(sheng)。说起来,怎么也是堂堂斯坦福的课,这种最看重前言研究在实际工业应用的学校,一定是理论和应用并进原创 2016-06-26 00:55:33 · 35316 阅读 · 9 评论 -
深度学习与自然语言处理(3)_斯坦福cs224d Lecture 3
这是斯坦福CS224d深度学习与自然语言处理的第3课,这节课先会介绍单层和多层神经网络和它们在机器学习分类任务中的应用, 接着介绍如何利用反向传播算法来训练这些神经网络模型(在这个方法中,我们将利用偏导数的链式法则来层层更新神经元参数)。在给出神经网络以及这些算法严谨的数学定义后,介绍了训练神经网络的一些实用的技巧和窍门,比如,神经元(非线性激励),梯度检验,参数的Xavier初始化方法,学习速率,ADAGRAD原创 2016-06-19 09:14:42 · 31677 阅读 · 7 评论 -
深度学习与自然语言处理(2)_斯坦福cs224d Lecture 2
这个课堂笔记我们将会对词向量(也就是词嵌入)的内部任务评价和外部任务评价方法进行讨论。主要的内容是单词类比(word analogies)技术,我们会把它当做内部任务评价的技术并展示其相关示例,它会在词向量的调谐(tune)中发挥重要作用。我们还会讨论如何训练模型的权重/参数,并关注用来进行外部任务评价的词向量。最后,我们会简单地介绍人工神经网络,它在自然语言处理中表现极好。原创 2016-06-12 19:23:19 · 27210 阅读 · 7 评论 -
深度学习与自然语言处理(1)_斯坦福cs224d Lecture 1
这是本课程的第一节,我们会先介绍自然语言处理(NLP)的概念和NLP现在所面对问题;然后开始讨论用数学向量代表自然语言词组的设想。最后我们会讨论现行的词向量构造方法。原创 2016-06-02 16:00:08 · 50359 阅读 · 15 评论