斯坦福(CS224n)深度学习与自然语言处理
本专栏以2019年最新的斯坦福CS224n深度学习与自然语言处理课程为基础,系统全面的梳理自然语言处理与深度学习相关知识。全课程共计19讲。
AI让世界更懂你
计算机科学与技术专业博士,主要研究方向为人工智能、自然语言处理、大规模语言模型和对话系统等。曾与微软小冰、微软小娜共同工作。兴趣广泛,包括并不限于人工智能,心理学,认知科学,语言学,数学,天文学等。让我们一起和AI,改进世界!
展开
-
2019斯坦福CS224n深度学习自然语言处理笔记(5)——句法分析
本文主要讲解如何进行句法分析,也就是如何进行解句子的结构与语义。原创 2019-06-12 12:00:12 · 1294 阅读 · 0 评论 -
2019斯坦福CS224n深度学习自然语言处理笔记(4)——反向传播与计算图
矩阵梯度下降及一些小贴士计算图模型与反向传播其他一些你应当知道的内容正则防止过拟合向量化非线性初始化优化学习率1. 矩阵梯度下降及一些小贴士1.1 梯度下降还是上节课的梯度下降,我们首先回顾一下:∂s∂W=δ∂z∂w=δ∂∂wWx+b\frac{\partial s}{\partial \bold W}=\delta\frac{\partial \bold z}{...原创 2019-04-17 16:38:57 · 1724 阅读 · 0 评论 -
2019斯坦福CS224n深度学习自然语言处理笔记(3)——分类模型与神经网络
前两章算是引言,主要介绍了什么是自然语言处理,以及自然语言处理中最基础的工作——如果和表示词的意思的相关工作。接下来,主要介绍一下分类模型和神经网络,并以命名实体识别和词窗口分类举例说明。最后简要介绍一下矩阵运算。1. 什么是分类?为了给没有基础的同学介绍一下背景,这里首先简要介绍一下分类。所谓的分类就是给定输入X,通过分类模型后,获得输出y,其中y是一个离散的值(可能有2个值,也可能有10个...原创 2019-04-11 17:15:41 · 821 阅读 · 0 评论 -
2019斯坦福CS224n深度学习自然语言处理笔记(2)——词向量与Glove
继续上一节的内容。还是沿着之前的思路,首先想到为什么不直接使用词共现矩阵,然后提出SVD的解决方法。在比较了基于统计和直接预测两种方法后,提出Glove模型。接着对于词向量的评估方法和一词多义问题提出相应的解决方法。1. 为什么不直接使用词共现矩阵获得词向量?在上一节中,最后提出一个问题,为什么不直接使用词共现矩阵获得词向量?1.1 词共现矩阵方法(窗口统计和全局统计)其方法有2种,第一种...原创 2019-04-08 10:43:06 · 809 阅读 · 0 评论 -
2019斯坦福CS224n深度学习自然语言处理笔记(1)——绪论与Word2Vec
本文内容整理自2019年斯坦福CS224n深度学习自然语言处理课程,其笔记为本人听课心得,重点在于对于知识内容的思考,并非课程原文笔记,应称为课后笔记。1.绪论在本堂课中,其基础技能需要懂得并应用:Ipython,numpy和Pytorch。其他的关于自然语言处理和深度学习,上了这堂课,你就会了解。1.1 语言的来源语言,语言是传递信息的声音和文字,是人类沟通的主要方式(其他方式包括图像、...原创 2019-04-04 13:15:57 · 1924 阅读 · 2 评论