official.nlp.transformer调研

最新推荐文章于 2022-11-27 16:52:38 发布

卢容和

最新推荐文章于 2022-11-27 16:52:38 发布

阅读量817

点赞数

分类专栏： NLP 文章标签：自然语言处理

本文链接：https://blog.csdn.net/qq_41329791/article/details/115828276

版权

NLP 专栏收录该内容

29 篇文章 0 订阅

订阅专栏

背景

知识追踪方向涉及NLP的知识不多，涉及Transform的模型就更少了。

而现在bert和Transformer发展太快，有很多应用在不同应用的预训练模型，所以需要调用别人写好的库。加上框架不同，TensorFlow、keras、pytorch都分别有不同出名的库。要真的研究具体某一方向时，比如文本分析，语音识别、机器翻译，才需要熟练地调用别人已经写好的模型库，加载别人训练好的参数。

确实知识追踪也用Transformer，不过只需要一层，如SAKT、AKT，都是作者自己手写encoder结构，不需要调用。莫烦的nlp教程也是手写bert、Transformer结构。所以这样就会有狭隘：

Transformer结构的优化
Transformer不断新增的trick
bert的变体，不过这个用不到

正文

在阅读论文代码时，该作者就调用到库，借机会学习一下：
Deep Knowledge Tracing with Transformers，根据requirement了解到第三方库
tf-models-official==2.4.0 and tensorflow==2.4.1

what need to solve？

from official.nlp.modeling import layers
from official.nlp.modeling import layers
from official.nlp.transformer import ffn_layer
from official.nlp.transformer.model_utils import get_padding_bias, get_decoder_self_attention_bias, _NEG_INF_FP32, _NEG_INF_FP16

调研

1）https://github.com/tensorflow/models/tree/master/official

The TensorFlow official models are a collection of models that use TensorFlow’s high-level APIs. They are intended to be well-maintained, tested, and kept up to date with the latest TensorFlow API.

方向
在这里插入图片描述
2）https://github.com/tensorflow/models/tree/master/official/nlp/modeling

This library provides a set of Keras primitives (tf.keras.Layer and tf.keras.Model) that can be assembled into transformer-based models. They are flexible, validated, interoperable, and both TF1 and TF2 compatible.

layers.py are the fundamental building blocks for NLP models. They can be used to assemble new tf.keras layers or models.

(https://colab.sandbox.google.com/github/tensorflow/models/blob/master/official/colab/nlp/nlp_modeling_library_intro.ipynb) for how to build transformer-based NLP models using above primitives.

you don’t need to fork a whole Transformer object to try a different kind of attention , for instance.
primitive(https://colab.sandbox.google.com/github/tensorflow/models/blob/master/official/colab/nlp/customize_encoder.ipynb) for how to use scaffold classes to build noval achitectures.

3）https://github.com/tensorflow/models/tree/v2.2.0/official/nlp/transformer

The implementation leverages tf.keras and makes sure it is compatible with TF 2.x.

在这里插入图片描述
此时的我十分懊恼

为啥我要花那么多时间看基于RNN的机器翻译，而不是直接上手基于Transformer的。无论是pytorch还是TensorFlow，直接看他们官网的Transformer教程就好。可惜现在没这个时间乱学了。
李宏毅的基于RNN的机器翻译，也没有beamsearch和衡量指标的代码，这里TensorFlow官方直接给出。所以一心想入门Transformer的同学就避坑吧。