abcgkj的博客

搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’ 获取更多AI干货csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners课程介绍人类语言和词义word2vec介绍word2vec目标函数梯度优化基础一、课程介绍课程官网2019版课程与之前课程的区别：环...

写在前面在【2019斯坦福CS224N笔记】（1）中，我们介绍了计算机是如何表示单词的语义，以及重点讲解了word2vec方法及其梯度下降的推导，但是其中还存在一些问题，需要进行优化。本节我们将介绍一些关于word2vec的优化方法及词向量的评价方式。本节的主要内容包括：word2vec的优化word2vec的一些表示方法如何评价词向量一、word2vec的优化1.复习：wor...

搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’ 获取更多AI干货csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners本文内容我们主要讲述一下深度学习中的神经网络，在此之前，我们先来简单回顾一下机器学习的主要任务和常用算法。一、机器学习（ML）1.ML主要任务机器...

csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners上节课我们主要讲述了神经网络的一些基础知识和命名实体识别。但到目前为止，我们还没有对训练过程中的参数做出过多的描述。那么我们是如何对参进行更新的呢？这就是本文的主题——反向传播。那么什么是反向传播呢？维基百科上是这样定义的：反向传播是...

csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners上节课我们主要讲述了神经网络是如何进行反向传播的。那么，这节课我们将来介绍NLP中的一大难点——句法分析。句法分析的主要任务是识别出句子所包含的句法成分以及这些成分之间的关系，一般以句法树来表示句法分析的结果。那么如何描述语法？主要有两种...

csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners一、传统的语言模型1.什么是语言模型语言建模是一项基准测试任务，它帮助我们衡量我们在理解语言方面的进展。语言建模是许多NLP任务的子组件，特别是那些涉及生成文本或估计文本概率的任务：预测输入、语音识别、手写识别、拼写/语法修正、身份识别...

csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners一、RNN的梯度爆炸和消失问题1.产生原因首先我们回顾一下经典的RNN结构：假设我们的时间序列只有三段，S_0为给定值，神经元没有激活函数，则RNN最简单的前向传播过程如下：假设在t=3时刻，损失函数为:则对于一次训练任务的...

搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’ 获取更多AI干货csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners机器翻译相信大家都不陌生，我们日常生活中经常会用到诸如百度翻译、谷歌翻译、有道翻译等等。这里我们给机器翻译下一个简单的定义：机器翻译(MT)是把一个句子...

本人在看CS224n Lecture9课程后，本节课程主要讲的是Final project和回顾了GRU和LSTM网络。没有特别多的新内容，故在网上找到了一篇国外大佬写的关于NLP实践总结的博文，故翻译之与大家进行分享。原文作者：Sebastian Ruder[原文链接] (http://ruder.io/deep-learning-nlp-best-practices/index.html#...

问答系统（简称QA）,是近几年比较火的NLP应用之一，常见的应用有：问答机器人、智能客服等。本节内容将主要讲解了斯坦福所提出的Stanford Attentive Reader模型，和简要分析一下其他相关模型。问答系统主要分为两部分：找到可能包含答案的文档（使用传统的信息检索技术）在可能的文档中找到我们所需要的答案（通常称为阅读理解）本文将重点介绍第二点，即"阅读理解"。Stanfo...

从RNN到CNN当我们听到卷积神经网络（CNN）的时候，我们通常会想到计算机视觉。而CNN是图像分类的重大突破，并且是当前很多计算机视觉系统的核心。近年来，人们也开始将CNN运用到NLP的问题中，并且得到了一些成果，例如人们将CNN成功的运用到了文本分类任务中。什么是卷积经典的CNN一般由卷积层、池化层和全连接层组成。而CNN本质上来说就是几个卷积层加上非线性函数，像ReLu或者tanh。在...

csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners目前在NLP领域中，主要采用word level和character leve语言建模。接下来我们将分别讲解这两种模型。基于词级模型词级语言建模是指把词作为文本信息的最小单位。在语义空间中，单词就好像是空间中的一个节点。在这种情况下，通过...

csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners词向量的表示目前为止，我们已经学过了one-hot编码、word2vec、glove等词向量的表示。但是这三个方法都普遍存在在一些问题，就是无法解决一词多义的问题。即对于同一个词无论上下文的单词是否相同，训练出来的词向量都是一样的。当我...