“万物皆可Seq2Seq” | 使用 bert4keras 在中文语境下运行Google Multilingual T5(mT5)

一、介绍

自去年Google发布了T5之后一直没有中文版本，所以没什么人去用。今年出了中文版我还是不会用，这里用的是苏总的bert4keras去跑mT5，一些对于T5的理解会慢慢加上，前面先以跑通为主。

我翻译了T5这篇论文  《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》   ，链接在这里： https://blog.csdn.net/Andrwin/article/details/112279590

看完了相信你会对模型有了更深的理解。

二、环境

物理机：

Ubuntu18.04、RTX2080（8G）、NVIDIA-DRIVER=440.95.01、Anaconda3 5.2.1、Python=3.6、CUDA=10.1、CUDNN=7.6.5

先用conda创建一个虚拟环境：

conda create -n t5
source activate t5

然后用TensorFlow去装虚拟版本cudatoolkit

conda install tensorflow-gpu=1.14
pip install keras==2.3.1
pip install bert4keras==0.9.1
pip install numpy==1.19.2
pip install sentencepiece==0.1.94
pip install tqdm

其他东西缺什么装什么就行。

三、数据集与预训练权重