点击目录可以快速跳转到每周课程笔记
目录
截图多来自:
https://www.deeplearning.ai/courses/natural-language-processing-specialization/
简介
这套课程来自于deeplearning.ai,课程名称为:Natural Language Processing Specialization,NG站台,一共四课,每课分别又分四个小节,以下内容翻译至官网。
B站亦有视频:https://www.bilibili.com/video/BV16G41167p1?p=4&vd_source=b328decd6af2d04adbe559355fe73b42
Course 1: Natural Language Processing with Classification and Vector Space
主要内容
a) 使用逻辑回归和朴素贝叶斯对推文进行情感分析;
b) 使用向量空间模型发现词与词之间的关系,并使用 PCA 降低向量空间的维度和可视化这些关系;
c) 利用预先计算的单词嵌入和对位置敏感的哈希算法,编写一个简单的英法互译算法,通过近似 K 近邻搜索将单词联系起来。
Week 1: Sentiment Analysis with Logistic Regression
第1周 使用逻辑回归进行情感分析
学习如何将文本特征提取为数字向量,然后使用逻辑回归为推文建立二元分类器。
Week 2: Sentiment Analysis with Naïve Bayes
第 2 周 使用朴素贝叶斯进行情感分析
了解贝叶斯条件概率规则背后的理论,然后将其应用于构建自己的 Naive Bayes 推文分类器。
Week 3: Vector Space Models
第 3 周 矢量空间模型
矢量空间模型可以捕捉词与词之间的语义和关系。您将学习如何创建单词向量来捕捉单词之间的依赖关系,然后使用 PCA 在两个维度上可视化它们之间的关系。
Week 4: Machine Translation and Document Search
第 4 周 机器翻译和文档搜索
学习如何转换单词向量,并使用对位置敏感的哈希算法将其分配到子集,以执行机器翻译和文档搜索。
Course 2: Natural Language Processing with Probabilistic Models
主要内容:
a) 利用最小编辑距离和动态编程创建一个简单的自动更正算法;
b) 应用维特比算法进行语音部分(POS)标记;
c) 使用 N-gram 语言模型编写更好的自动完成算法;
d) 编写自己的 Word2Vec 模型,该模型使用神经网络,使用连续词袋模型计算词嵌入。
Week 1: Auto-correct
第 1 周 自动更正
了解自动更正、最小编辑距离和动态编程,然后建立自己的拼写检查程序来纠正拼写错误的单词。
Week 2: Part-of-Speech (POS) Tagging and Hidden Markov Models
第 2 周 语音部分(POS)标记和隐马尔可夫模型
了解马尔可夫链和隐马尔可夫模型,然后使用它们为《华尔街日报》文本语料库创建语音部分标签。
Week 3: Auto-complete and Language Models
第 3 周 自动完成和语言模型
通过计算序列概率了解 N-gram 语言模型的工作原理,然后使用 Twitter 文本语料库建立自己的自动完成语言模型。
Week 4: Word Embeddings with Neural Networks
第4周 使用神经网络进行词嵌入
了解词嵌入如何承载词的语义,使其在 NLP 任务中发挥更大作用。然后建立自己的连续词袋模型,从莎士比亚文本中创建词嵌入。
Course 3: Natural Language Processing with Sequence Models
主要内容:
a) 利用 GLoVe 词嵌入训练神经网络,对推文进行情感分析;
b) 使用门控递归单元(GRU)语言模型生成合成莎士比亚文本;
c) 使用具有线性层的 LSTM 训练递归神经网络来执行命名实体识别(NER);
d) 使用孪生LSTM 模型来比较语料库中的问题,并识别那些措辞不同但含义相同的问题。
Week 1: Neural Network for Sentiment Analysis
第 1 周 情感分析神经网络
了解用于深度学习的神经网络,然后构建一个复杂的推文分类器,利用深度神经网络将推文归入正面或负面情感类别。
Week 2: Recurrent Neural Networks for Language Modeling
第 2 周 用于语言建模的递归神经网络
了解传统语言模型的局限性,看看 RNN 和 GRU 如何利用序列数据进行文本预测。然后在莎士比亚文本数据上使用简单的 RNN 建立自己的下一个单词生成器。
Week 3: LSTMs and Named Entity Recognition (NER)
第 3 周 LSTM 和命名实体识别(NER)
了解长短时记忆单元(LSTM)如何解决梯度消失问题,以及命名实体识别系统如何从文本中快速提取重要信息。然后使用 LSTM 和来自 Kaggle 的数据构建自己的命名实体识别系统。
Week 4: Siamese Networks
第 4 周 孪生网络
了解孪生网络,这是一种特殊的神经网络,由两个最终合并的相同网络组成,然后构建自己的孪生网络,在 Quora 数据集中识别重复的问题。
Course 4: Natural Language Processing with Attention Models
主要内容:
a) 使用编码器-解码器注意力模型将完整的英语句子翻译成德语;
b) 建立一个 Transformer 模型来总结文本;
c) 使用 T5 和 BERT 模型进行问题解答;
d) 使用 Reformer 模型建立聊天机器人。
Week 1: Neural Machine Translation with Attention models
第 1 周 使用注意力模型进行神经机器翻译
了解传统 seq2seq 模型的一些缺点,以及如何通过添加注意力机制来解决这些问题,然后建立一个带有注意力的神经机器翻译模型,将英语句子翻译成德语。
Week 2: Text Summarization with Transformer models
第 2 周 使用转换器模型进行文本总结
将 RNN 和其他顺序模型与更现代的 Transformer 架构进行比较,然后创建一个生成文本摘要的工具。
Week 3: Question-Answering
第 3 周 问题解答
利用 T5 和 BERT 等最先进的模型探索迁移学习,然后建立一个可以回答问题的模型。
Week 4: Chatbots with Reformer models
第4周:聊天机器人 使用 Reformer 模型的聊天机器人
研究 Transformer 模型面临的一些独特挑战及其解决方案,然后使用 Reformer 模型构建一个聊天机器人。