深度学习与自然语言处理
文章平均质量分 85
寒小阳
对机器学习/数据挖掘/算法感兴趣,并从事相关工作。『我们是一群热爱机器学习,喜欢交流分享的小伙伴,希望通过“ML学分计划”交流机器学习相关的知识,认识更多的朋友。Q_Q群号 : 2000人群169492443(已满), 2000人群564538990(已满), 2000人群285273721,从业和研究人员请加群472059892,欢迎加入获取资料,分享和讨论相关知识』
展开
-
深度学习与自然语言处理(4)_斯坦福cs224d 大作业测验1与解答
前面一个接一个的Lecture,看得老衲自己也是一脸懵逼,不过你以为你做一个安安静静的美男子(总感觉有勇气做deep learning的女生也是一条汉纸)就能在Stanford这样的学校顺利毕业啦?图样图森破,除掉极高的内容学习梯度,这种顶尖大学的作业和考试一样会让你突(tong)飞(bu)猛(yu)进(sheng)。说起来,怎么也是堂堂斯坦福的课,这种最看重前言研究在实际工业应用的学校,一定是理论和应用并进原创 2016-06-26 00:55:33 · 35294 阅读 · 9 评论 -
NLP系列(9)_深入理解BERT Transformer ,不仅仅是注意力机制
大数据文摘与百度NLP联合出品作者:Damien Sileo审校:百度NLP、龙心尘编译:张驰、毅航https://blog.csdn.net/longxinchen_ml/article/details/89058309原文链接:https://medium.com/synapse-dev/understanding-bert-transformer-attention-isnt-a...原创 2019-04-08 09:56:43 · 3866 阅读 · 0 评论 -
NLP系列(8)_用可视化解构BERT,从上亿参数中提取出的6种直观模式
大数据文摘联合百度NLP出品审校:百度NLP、龙心尘编译:Andy,张驰来源:towardsdatascience.comhttps://blog.csdn.net/longxinchen_ml/article/details/89036531编者按: 深度神经网络的超强有效性一直让人疑惑。经典论文《可视化与理解CNN》(Visualizing and Understanding Con...原创 2019-04-08 09:54:32 · 4117 阅读 · 0 评论 -
NLP系列(7)_Transformer详解
审校:百度NLP、龙心尘翻译:张驰、毅航、Conrad原作者:Jay Alammar原链接:https://jalammar.github.io/illustrated-transformer/编者按:前一段时间谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果,引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型...原创 2019-01-20 11:29:23 · 8731 阅读 · 5 评论 -
深度学习与自然语言处理(8)_斯坦福cs224d RNN,MV-RNN与RNTN
这篇课堂笔记将介绍不同类型的RNN(递归神经网络),并介绍它在NLP领域的应用和优势。在这篇课笔记中,我们会一起学习一种新的模型,这种模型绝对是以前介绍的那种递归神经网络的加强版!递归神经网络(RNNs)十分适用于有层次的、本身就有递归结构的数据集。原创 2016-07-30 21:23:06 · 15817 阅读 · 8 评论 -
深度学习与自然语言处理(7)_斯坦福cs224d 语言模型,RNN,LSTM与GRU
说明:本文为斯坦福大学CS224d课程的中文版内容笔记,已得到斯坦福大学课程@Richard Socher教授的授权翻译与发表1.语言模型语言模型用于对特定序列的一系列词汇的出现概率进行计算。一个长度为m的词汇序列{w1,…,wm}的联合概率被表示为P(w1,…,wm)。由于在得到具体的词汇之前我们会先知道词汇的数量,词汇wi的属性变化会根据其在输入文档中的位置而定,而联合概率P(w1,…,wm)的计原创 2016-07-17 15:27:29 · 53305 阅读 · 3 评论 -
深度学习与自然语言处理(3)_斯坦福cs224d Lecture 3
这是斯坦福CS224d深度学习与自然语言处理的第3课,这节课先会介绍单层和多层神经网络和它们在机器学习分类任务中的应用, 接着介绍如何利用反向传播算法来训练这些神经网络模型(在这个方法中,我们将利用偏导数的链式法则来层层更新神经元参数)。在给出神经网络以及这些算法严谨的数学定义后,介绍了训练神经网络的一些实用的技巧和窍门,比如,神经元(非线性激励),梯度检验,参数的Xavier初始化方法,学习速率,ADAGRAD原创 2016-06-19 09:14:42 · 31667 阅读 · 7 评论 -
深度学习与自然语言处理(5)_斯坦福cs224d 大作业测验2与解答
本文为斯坦福大学CS224d课程的第二次作业内容,原本打算把作业和答案做个编排,一起发出来给大家看,无奈代码量有点大,贴上来以后文章篇幅过长,于是乎题目的代码解答放到了百度云盘,欢迎自行下载和运行或者调整原创 2016-07-03 16:30:20 · 32034 阅读 · 0 评论 -
深度学习与自然语言处理(6)_斯坦福cs224d 一起来学Tensorflow part1
之前的课程里介绍了自然语言处理当中的一些问题,以及设计出来的一些相应的算法。research的东西还是落地到工程应用上比较有价值,之前也手撸过一些toy project,不过这些实现要用在工程中,总是有那么些虚的,毕竟稳定性和效率未必能够保证。所幸的是,深度学习热度持续升温的大环境下,各种大神和各家大厂也陆续造福民众,开源了一些深度学习框架,在这些开源框架的基础上去搭建和实现自己想要的深度学习网络结构就简单和稳定得多原创 2016-07-10 13:12:18 · 28077 阅读 · 10 评论 -
深度学习与自然语言处理(2)_斯坦福cs224d Lecture 2
这个课堂笔记我们将会对词向量(也就是词嵌入)的内部任务评价和外部任务评价方法进行讨论。主要的内容是单词类比(word analogies)技术,我们会把它当做内部任务评价的技术并展示其相关示例,它会在词向量的调谐(tune)中发挥重要作用。我们还会讨论如何训练模型的权重/参数,并关注用来进行外部任务评价的词向量。最后,我们会简单地介绍人工神经网络,它在自然语言处理中表现极好。原创 2016-06-12 19:23:19 · 27206 阅读 · 7 评论 -
斯坦福大学CS224d基础1:线性代数回顾
本文为斯坦福CS229的内容,也是CS224d课程的背景数学知识。概括了在机器学习和深度学习中用到的大部分线性代数知识。为了便于大家查漏补缺,这里根据英文版本整理了一个中文版本。原创 2016-06-10 23:36:31 · 39717 阅读 · 11 评论 -
NLP系列(10)_词向量之图解Word2vec
审校:龙心尘作者:Jay Alammar编译:张秋玥、毅航、高延https://blog.csdn.net/longxinchen_ml/article/details/89077048原文链接:https://jalammar.github.io/illustrated-word2vec/嵌入(embedding)是机器学习中最迷人的想法之一。 如果你曾经使用Siri、Google...原创 2019-04-08 09:58:35 · 30184 阅读 · 2 评论