NLP 高手之路101课（模型、算法、论文、源码、案例 + 1年答疑）

课程名称：NLP 高手之路101课（模型、算法、论文、源码、案例 + 1年答疑）

课程关键词：NLP、Transformer、BERT、GPT、Bayesian、Rasa、Transfer learning、Conversational AI、Classifiers、 Policies、Dialogue Management、NER、Pre-training、Fine-tuning、DIET、TED、SimpleTOD、Bert-DST、ConveRT、Poly-Encoder、Chatbot、E2E、NLU、Policies、Microservices、Graph Component、Fallback、LoopAction、Papers、Algorithms、Source Code、Projects、Rasa Application、Debugging、E-commerce、Retail、Customer Service、Helpdesk Assistant 、Financial Bot、Banking、Retail、Insurance、Education、Knowledge Base、ElasticSearch、Interactive Learning、Testing、Duckling、Microservices、SQLite、Payload、Slot、Mapping、Custom Slot、Custom Mapping、External API、Payload、Docker、Domain、Dialogue Management、Intent、Prediction、Confidence、Form、Active Loop、Event、 FormValidationAction、CollectingDispatcher、Tracker、Rasa Server、Endpoint、FollowupAction、UserUtteranceReverted、RESTful、Endpoint、RegexFeaturizer、RegexEntityExtractor、EntitySynonymMapper、Aiohttp、Coroutines、Sanic、Session、Rasa Core、Rasa SDK、ValidationAction、Dynamic Form Behavior、RemoteAction、ActionExecutionRejection、Message Handling、NaturalLanguageGenerator、Graph Architecture

课程内容：

自从Google在2017发布Transformer论文以来，以Transformer为核心的新一代NLP技术在短短的2年左右的时间就彻底革新了整个NLP领域，尤其是2018年的BERT极大的加速了这一革新进程，无论是学术界还是工业界（Google、Amazon、Facebook、Alibaba、Tencent、ByteDance等）的近几年NLP工作均是围绕Transformer这个新一代的NLP架构系统而展开。人工智能领域具有全球广泛影响力的科学家Andrew Ng在2021年回顾AI的最新进展中甚至说 “Originally developed for natural language processing, transformers are becoming the Swiss Army Knife of deep learning.” 其明确表示就最新AI发展进展表明Transformer已经逐步实现了“One Architecture to Do Them All”的人工智能大一统趋势。详情请参考：https://read.deeplearning.ai/the-batch/issue-123/

基于此，星空智能对话机器人团队推出了以Transformer为核心的新一代NLP课程“NLP 高手之路101课（模型、算法、论文、源码、案例 + 1年答疑）”，力求通过该课程反映过去几年NLP在硅谷和全球的学术研究和工业落地的最新进展，帮助有志于新一代NLP技术的爱好者、研究者和实践者学习来自硅谷最新的NLP实用技术。具体来说，课程包含以下五大部分：

1. Transformer架构及源码剖析系列：Transformer、BERT、GPT的架构、算法、源码实现等近13小时内容讲解
2. 论文算法系列：从导师阅读的3000多篇NLP论文中选出10篇最高质量的NLP论文，抽丝剥茧的讲解其架构、算法并结合星空对话机器人研发经验分享最佳实践等近21小时内容的讲解
3. Rasa 3.X内核源码系列：对Rasa 3.X新一代的Graph Architecture下的架构、算法、Classifiers、Policies、Microservices、Dialogue Management进行详细的讲解，所有内容均有源码逐行剖析，该部分总共约45小时。
4. Rasa 3.X项目系列: 10大典型的Rasa项目案例，帮助学员掌握经典场景Rasa各类应用开发等近20小时讲解
5. NLP项目系列：五大企业级NLP硬核技术项目案例，所有的代码均是按照企业级的标准实现，稍加修改即可应用到学员以后企业NLP产品实现中。

尤其值得一提的是，Rasa是NLP技术的集大成者，是基于Transformer架构的全球使用最广泛的智能业务对话机器人，而掌握这一核心的技术的人才目前为止是极为稀少的。“NLP高手之路101课” 是全球第一个系统讲解Rasa 3.X架构、算法、源码、调试及项目实战的课程，掌握该课程的内容可以加速学习者成为NLP及Conversational AI技术的引领者。

基于此，星空对话机器人团队在NLP课程中准备了大量的Rasa智能对话机器人案例，例如基于ElasticSearch的影视对话机器人、电商零售Customer Service智能业务对话机器人、银行金融Financial Bot智能业务对话机器人、保险行业Insurance Bot智能业务对话机器人、教育行业Education Bot智能业务对话机器人。每一个案例都是聚焦于智能业务对话机器人经典场景下的经典技术而设计实现的Rasa 3.X智能业务对话机器人项目来驱动的，包括其架构设计、配置内幕、源码实现、测试调试以及Rasa Interactive Learning等。首先会聚焦智能业务对话机器人运行流程及项目调试Debugging全程演示、命令行下交互过程，紧接着是对话机器人微服务代码逐行解密及基于Rasa Interactive的对话进行实验分析，尤其是对微服务远程通信、微服务进行启动、微服务注册、各类微服务编码、微服务验证、微服务测试与调试等在实际开发中用到的微服务的实践精髓进行全息实践及源码解密，最后对项目的Config、Domain、Stories、Rules、FAQ、Chitchat逐行解密及Rasa Interactive运行过程剖析。不仅能够帮助学员从项目动态运行的角度彻底掌握该项目，同时对提升学员对Rasa内核的理解力也会大有裨益。

整个“NLP高手之路101课”涵盖当今NLP应用和科研领域最热门的五大技术方向：预训练、语言理解、对话系统、知识图谱、文本生成等，在深入剖析技术细节及各模块所涵盖最前沿技术的同时，导师会结合自身研究开发星空智能对话机器人12万行核心源码的经验及学术应用前沿，对基于Transformer的新一代NLP的模型、算法、论文、源码、案例等进行全息分享，并提供1年的课程内容技术答疑服务。

课程收获：

1. 通过近13小时掌握基于Transformer的新一代NLP架构、算法、论文、源码及案例，轻松应对Transformer面试及新一代NLP架构及开发工作。
2. 通过近21小时学习导师从自己阅读的超过3000篇NLP论文中的精选出的10篇质量最高的论文的架构、算法、实现等讲解，对新一代的NLP技术了然于胸，极大的加速NLP科研及项目开发进度。
3. 通过近65小时彻底掌握NLP技术的集大成者Rasa这一全球最成功的的智能业务对话机器人架构、算法、源码及实战案例，成为NLP技术公司或者团队NLP技术的引领者。
4. 通过5大企业级NLP实战项目，不仅能够贯通NLP整个领域的核心技术，同时能够学习企业级NLP成熟项目代码的思想和精华，帮助学员轻松应对任意难度的NLP项目面试的同时还能够把这些项目稍加修改应用于企业NLP产品开发中。
5. 该课程尤其是对短期内想对NLP领域有系统全面深入认识特别有帮助，所有的内容都是基于企业开发中用到的内容由浅入深环环相扣展开，可以大大节省学习时间。同时对具有NLP或者知识图谱或者推荐系统工作经验的同学而言，会在1-3月的时间内完成技术的更新换代，成为最新人工智能技术的引领者。

面向人群：

1，计算机相关专业的本科/硕士/博士生

2，Transformer技术爱好者

3，智能对话机器人爱好者

4，想从推荐系统、知识图谱转行到NLP的人员

5，已经有NLP从业经验想升级技能体系的开发者

6，企业中NLP高级科研人员

7，想在短期内系统全面深入的掌握NLP的IT人员

备注：课程针对没有基础的学员录制了Python及Transformer基础课，以帮助零基础学员平滑过渡到正式课程的学习。

资料及答疑：

购买后联系授课导师Gavin获得代码、资料及完整的课程视频（包含额外的根据学员学习反馈而补充的视频及助教录制的视频）。

课程提供1年的技术答疑服务，Gavin老师负责所有课程技术问题的答疑服务。

课程大纲(基于直播持续更新)：

第1课 Bayesian Transformer思想及数学原理完整论证

1，线性回归及神经网络AI技术底层通用的贝叶斯数学原理及其有效性证明

2，人工智能算法底层真相之MLE和MAP完整的数学推导过程概率、对数、求导等以及MLE和MAP关系详解

3，语言模型Language Model原理机制、数学推导及神经网络实现

4，图解Transformer精髓之架构设计、数据训练时候全生命周期、数据在推理中的全生命周期、矩阵运算、多头注意力机制可视化等

5，什么叫Bayesian Transformer，Bayesian Transformer和传统的Transformer的核心区别是什么？

6，Bayesian Transformer这种新型思考模型在学术和工业界的意义是什么，为什么说Transformer中到处都是Bayesian的实现？

7，贝叶斯Bayesian Transformer数学推导论证过程全生命周期详解及底层神经网络物理机制剖析

第2课Transformer论文源码完整实现

1，Transformer架构内部的等级化结构及其在NLP中的应用内幕

2，数学内幕、注意力机制代码实现、及Transformer可视化

3，以对话机器人的流式架构为例阐述Transformer学习的第三境界

4，以智能对话机器人为例阐述Transformer的自编码autoencoding和自回归autoregressive语言模型内幕机制

第3课：Transformer语言模型架构、数学原理及内幕机制

1，语言模型的链式法则、运行机制及为何说LM是一个Classifier？

2，基于概率统计Statistical Language Models语言模型内部机制、数学公式、及完整的示例

3，基于神经网络Neural Language Models语言模型内部机制、数学公式、及完整的示例

4，使用困惑度及Cross Entropy来衡量语言模型的质量具体实现及数学公式推导分

5，Language Model底层的数学原理之最大 似然估计MLE及最大后验概率MAP内部机制与关系详解

6，语言模型底层的数学原理之Bayesian模型原理与实现

第4课 GPT自回归语言模型架构、数学原理及内幕机制

1，语言模型的运行机制、架构内部及数学实现回顾

2，GPT可视化、Masking等工作机制解析

3，GPT中的Decoder-Only模式内部运行机制解析

4，数据在GPT模型中的流动生命周期Input Encoding、Self-Attention、及Model Output详解

5，GPT中的Masked多头注意力机制及全连接神经网络内部运行机制解析

第5课 BERT下的自编码语言模型架构、数学原理及内幕机制

1，双向Masking机制数学原理剖析

2，BERT语言模型架构内幕详解

3，BERT训练任务和调优

第6课 BERT Pre-taining模型源码完整实现

1，BERT神经网络的完整源码实现

2，预训练任务MLM完整源码实现

3，预训练任务NSP完整源码实现

第7课 使用BERT 进行Document分类任务案例实战

1，BERT Fine-tuning 数字原理剖析

2，模型及数据处理代码

3，BERT Fine-tuning训练完整代码

第8课 使用BERT进行NER案例实战

1，BERT Fine-tuning 进行NER原理解析

2，Tokenization及Input端代码

3，BERT Fine-tuning训练及优化

第9课 使用BERT进行多任务Fine-Tuning解密

1，Fine-Tuning最佳策略

2，Pre-Training深度优化

3，Multi-Task微调解密及案例

第10课 使用BERT对影评数据分析(数据处理、模型代码、线上部署)

1，Sogou New数据处理

2，模型Input源码

3，模型训练及优化

第11课 BERT论文解密、数学推导及完整源码实现

1，透视BERT论文的所有技术要点

2，剖析背后的数学原理

3，通过代码论证所有的理论

第12课 基于Transformer的多轮对话系统四要素解密

1，Intent预测与管理

2，对话管理State Tracking

3，对话行为的预测，根据现在和之前的对话预测接下来的情况

4，Response Selection策略

第13课 如何使用Transformer构建具有抗干扰能力的面向任务的对话系统？

1，使用Dialogue Stacks和LSTM来处理subdialogue的潜在问题分析

2， Transformer实现扛干扰的多轮对话系统架构剖析

3， Transformer实现扛干扰的多轮对话关键技术剖析

第14课 使用Transformer构建具有抗干扰能力的对话系统Experiments深度剖析

1，针对Sub-dailogues进行抗干扰处理实验分析

2，与LSTM进行对话处理试验对比

3，通过Modular Training进行试验分析

第15课 基于多任务Transformer架构的Intent和NER算法实现

1，对话机器人中的Modular Approach的架构剖析

2，经典的处理Intent和NER multi-task Transformer架构分析

3，多任务架构思考与总结

第16课 基于Transformer的轻量级多任务NLU系统解密

1，Transformer处理Intent和NER的Input Emeddings架构解析

2，CLS和MASK的特殊实现解密

3，LOSS计算背后的数学原理详解

第17课 轻量级多任务Transformer语言理解框架DIE