![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
cs224n
kaijie234
我的qq:
907558136 欢迎各位志同道合的小伙伴们前来打扰(添加请备注来源哈)。
展开
-
【2019斯坦福CS224N笔记】(3)神经网络
搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’ 获取更多AI干货 csdn:https://blog.csdn.net/abcgkj github:https://github.com/aimi-cn/AILearners 本文内容我们主要讲述一下深度学习中的神经网络,在此之前,我们先来简单回顾一下机器学习的主要任务和常用算法。 一、机器学习(ML) 1.ML主要任务 机器...原创 2019-05-21 11:39:21 · 1365 阅读 · 1 评论 -
【2019斯坦福CS224N笔记】(12)Information from parts of words: Subword Models
csdn:https://blog.csdn.net/abcgkj github:https://github.com/aimi-cn/AILearners 目前在NLP领域中,主要采用word level和character leve语言建模。接下来我们将分别讲解这两种模型。 基于词级模型 词级语言建模是指把词作为文本信息的最小单位。在语义空间中,单词就好像是空间中的一个节点。在这种情况下,通过...原创 2019-08-06 23:06:24 · 357 阅读 · 0 评论 -
【2019斯坦福CS224N笔记】(11)ConvNets for NLP
从RNN到CNN 当我们听到卷积神经网络(CNN)的时候,我们通常会想到计算机视觉。而CNN是图像分类的重大突破,并且是当前很多计算机视觉系统的核心。近年来,人们也开始将CNN运用到NLP的问题中,并且得到了一些成果,例如人们将CNN成功的运用到了文本分类任务中。 什么是卷积 经典的CNN一般由卷积层、池化层和全连接层组成。而CNN本质上来说就是几个卷积层加上非线性函数,像ReLu或者tanh。在...原创 2019-07-31 09:32:11 · 344 阅读 · 0 评论 -
【2019斯坦福CS224N笔记】(10)Question Answering
问答系统(简称QA),是近几年比较火的NLP应用之一,常见的应用有:问答机器人、智能客服等。本节内容将主要讲解了斯坦福所提出的Stanford Attentive Reader模型,和简要分析一下其他相关模型。 问答系统主要分为两部分: 找到可能包含答案的文档(使用传统的信息检索技术) 在可能的文档中找到我们所需要的答案(通常称为阅读理解) 本文将重点介绍第二点,即"阅读理解"。 Stanfo...原创 2019-07-21 20:54:58 · 421 阅读 · 0 评论 -
【2019斯坦福CS224N笔记】(9)Deep Learning for NLP Best Practices
本人在看CS224n Lecture9课程后,本节课程主要讲的是Final project和回顾了GRU和LSTM网络。没有特别多的新内容,故在网上找到了一篇国外大佬写的关于NLP实践总结的博文,故翻译之与大家进行分享。 原文作者:Sebastian Ruder [原文链接] (http://ruder.io/deep-learning-nlp-best-practices/index.html#...原创 2019-07-21 20:51:26 · 513 阅读 · 0 评论 -
【2019斯坦福CS224N笔记】(8)Translation, Seq2Seq, Attention
搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’ 获取更多AI干货 csdn:https://blog.csdn.net/abcgkj github:https://github.com/aimi-cn/AILearners 机器翻译相信大家都不陌生,我们日常生活中经常会用到诸如百度翻译、谷歌翻译、有道翻译等等。这里我们给机器翻译下一个简单的定义:机器翻译(MT)是把一个句子...原创 2019-07-09 11:54:10 · 1015 阅读 · 0 评论 -
【2019斯坦福CS224N笔记】(6)RNN和与语言模型
csdn:https://blog.csdn.net/abcgkj github:https://github.com/aimi-cn/AILearners 一、传统的语言模型 1.什么是语言模型 语言建模是一项基准测试任务,它帮助我们衡量我们在理解语言方面的进展。语言建模是许多NLP任务的子组件,特别是那些涉及生成文本或估计文本概率的任务:预测输入、语音识别、手写识别、拼写/语法修正、身份识别...原创 2019-06-24 12:11:21 · 1337 阅读 · 2 评论 -
【2019斯坦福CS224N笔记】(7)Fancy RNNs
csdn:https://blog.csdn.net/abcgkj github:https://github.com/aimi-cn/AILearners 一、RNN的梯度爆炸和消失问题 1.产生原因 首先我们回顾一下经典的RNN结构: 假设我们的时间序列只有三段,S_0为给定值,神经元没有激活函数,则RNN最简单的前向传播过程如下: 假设在t=3时刻,损失函数为: 则对于一次训练任务的...原创 2019-07-02 16:25:05 · 822 阅读 · 0 评论 -
【2019斯坦福CS224N笔记】(5)依存结构语法
csdn:https://blog.csdn.net/abcgkj github:https://github.com/aimi-cn/AILearners 上节课我们主要讲述了神经网络是如何进行反向传播的。那么,这节课我们将来介绍NLP中的一大难点——句法分析。句法分析的主要任务是识别出句子所包含的句法成分以及这些成分之间的关系,一般以句法树来表示句法分析的结果。 那么如何描述语法?主要有两种...原创 2019-06-18 17:57:03 · 910 阅读 · 0 评论 -
【2019斯坦福CS224N笔记】(4)反向传播
csdn:https://blog.csdn.net/abcgkj github:https://github.com/aimi-cn/AILearners 上节课我们主要讲述了神经网络的一些基础知识和命名实体识别。但到目前为止,我们还没有对训练过程中的参数做出过多的描述。那么我们是如何对参进行更新的呢?这就是本文的主题——反向传播。 那么什么是反向传播呢?维基百科上是这样定义的: 反向传播是...原创 2019-05-31 09:59:49 · 587 阅读 · 0 评论 -
【2019斯坦福CS224N笔记】(13)Contextual Word Representations and Pretraining
csdn:https://blog.csdn.net/abcgkj github:https://github.com/aimi-cn/AILearners 词向量的表示 目前为止,我们已经学过了one-hot编码、word2vec、glove等词向量的表示。但是这三个方法都普遍存在在一些问题,就是无法解决一词多义的问题。即对于同一个词无论上下文的单词是否相同,训练出来的词向量都是一样的。 当我...原创 2019-09-03 09:38:42 · 882 阅读 · 0 评论