nlp 中文文本纠错_NLP中文文本分类任务的笔记（三）

承接前两篇笔记

邓文涛：NLP中文文本分类任务的笔记（一）​zhuanlan.zhihu.com

邓文涛：NLP中文文本分类任务的笔记（二）​zhuanlan.zhihu.com

这篇主要想讲一讲对transformer和BERT框架的一些个人理解。关于细节一些可以参考知乎大神们的一些文章：

• Transformer 模型的 PyTorch 实现 (推荐研读)
• 《Attention is All You Need》浅读（简介+代码）
• 深度学习中的注意力机制 - 云+社区 - 腾讯云
• Attention? Attention!
• Building the Mighty Transformer for Sequence Tagging in PyTorc
• [整理] 聊聊 Transformer

先上图

transformer-encoder的部分

1. 先对inputs进行input embedding，然后进行positional encoding ：

在初始化

的时候， 我们先需要经过一个线性变换：

2. 接下来经过Multi-Head Attention对positional encoding 进行学习：

可以知道，attention用的正是上一篇笔记中使用的self-attention结构，其实也就是 Scaled Dot-Product Attention。

Muti-Head 的意思是通过初始化多个self-attention的结构，默认的一些参数分别是：

, 因此我们可以将对应的attention公式改成如何的操作：

接下来将8个head的attention拼在一起，进过一个dense layer进行整合。

3. 第三部分其实是一个 position-wise feed-forward network，其实就是一个全联接层。

transformer-decoder的部分

1. multi-head self-attention mechanism (对应的masked multi-head attention).
2. multi-head context-attention mechanism (对应的 multi-head attention).
3. position-wise feed-forward network(linear).