一、介绍
自去年Google发布了T5之后一直没有中文版本,所以没什么人去用。今年出了中文版我还是不会用,这里用的是苏总的bert4keras去跑mT5,一些对于T5的理解会慢慢加上,前面先以跑通为主。
我翻译了T5这篇论文 《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》 ,链接在这里: https://blog.csdn.net/Andrwin/article/details/112279590
看完了相信你会对模型有了更深的理解。
二、环境
物理机:
Ubuntu18.04、RTX2080(8G)、NVIDIA-DRIVER=440.95.01、Anaconda3 5.2.1、Python=3.6、CUDA=10.1、CUDNN=7.6.5
先用conda创建一个虚拟环境:
conda create -n t5
source activate t5
然后用TensorFlow去装虚拟版本cudatoolkit
conda install tensorflow-gpu=1.14
pip install keras==2.3.1
pip install bert4keras==0.9.1
pip install numpy==1.19.2
pip install sentencepiece==0.1.94
pip install tqdm
其他东西缺什么装什么就行。