自然语言处理NLP星空智能对话机器人系列第23章 MRC经典的Span Extraction模型Bi-DAF 算法

段智华

于 2021-11-22 20:06:47 发布

阅读量338

点赞数

分类专栏： NLP星空智能对话机器人文章标签：自然语言处理 bert 深度学习

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/121479316

版权

NLP星空智能对话机器人专栏收录该内容

281 篇文章 116 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了自然语言处理中的Bi-DAF模型，详细解析了其数学原理和运行机制，尤其是在机器阅读理解（MRC）中的Span Extraction。同时，文章阐述了Transformer架构下的Bayesian理论，强调了如何利用Bayesian方法应对数据不确定性，特别是在智能对话机器人的开发中。内容包括多阶段Embeddings、Contextual Embedding、Attention机制、Encoder-Decoder架构以及如何处理模型的局限性和挑战。

摘要由CSDN通过智能技术生成

第23章：MRC经典的Span Extraction模型Bi-DAF 算法架构、运行机制及数学原理
1，双向Attention Flow：Query2Context、Context2Query数学原理及工程实现
2，Bi-DAF能够正式确立编码-交互-输出三层架构阅读理解模型背后的原因分析
3，Bi-DAF模型本身的五层架构及其背后数学原理解析
4，不同粒度的多阶段Embeddings层的架构设计和数学原理
5，Bonus：多阶段Embeddings在智能对话信息表示中的应用剖析
6，Character Embedding数学原理及Char-CNN实现解析
7，Word Embedding数学原理及GloVe实现解析
8，双向LSTM架构机制及数学原理剖析
9，使用Highway Network解决梯度问题的数学原理及实现解析
10，组合Char embedding和word embedding
11，Contextual Embedding数学原理及实现解析
12，Bi-DAF中的Context2Query实现解析
13，Bi-DAF中的Query2Context实现解析
14，Trainable Matrix for attention mechanism
15，Modeling层架构和数学原理剖析