T5 模型：NLP Text-to-Text 预训练模型+数据清洗

简单总结T5模型：             

        T5模型：是一个端到端，text-to-text 预训练模型

        T5模型也是训练七十个模型中一个较通用的一个框架。

        T5模型：可以做文本分类，情感分析，机器翻译等等

数据问题

 领域内的预训练数据可以增强下游任务。

数据少时，模型会比较差。

数据越大模型训练越好，时间也会越长。

首先在这里说一下数据清洗

 常用的一些清洗数据的方法：

         1.只保留结尾是正常符号的行

        2.删除任何不好的词，负能量的一些词。还有一些没有见过的停用词

        3.包含Javascript（是一种具有函数优先的轻量级，解释型或即时编译型的 编程语言 ）的词的行全部去掉。

        4. 包含编程语言中常用大括号的页面

        5.任何包含lorem ipsum(用于排版测试)的页面

        6.连续三句话重复出现的情况，只保留一个

T5模型就是个Transdormer的Encoder-Decoder模型

 预训练模型的多种模型架构

 第一种，Encoder-Decoder型,Seq2Seq常用模型。分成encoder和decoder。Encoder可以看到全体，之后把结果输入给Decoder，Decoder输出方式只能看到之前的。(代表模型架构MASS)而BERT可以看作是其中Encoder部分。

第二种，相当于上面的Decoder部分,当前时间步只能看到之前时间步信息。

第三种，Prefix LM 型，可看作是上面Encoder和Decoder的融合，一部分如Encoder能看到全体信息，一部分如Decoder只能看到过去的信息。

从四个方面进行去比较T5模型：

第一个方面就是高层次方法（自监督的预训练方法）对比。

1. 语言模型，就是GPT-2,从左到右预测
2. BERT-style式，就想bert一样给部分坏掉，（目的就是：为了更好提取上下文的特征）
3. Deshuffiling（顺序还原）,就是将文本打乱，然后还原出来。

其中BERT-style是最好的，T5模型使用的就是这种。

第二个方面，对文本一部分进行破坏时的策略

1. Mask法，随机破坏token，换成特殊符。[M]（是词粒度）
2. Replace span (小段替换),跟mask相似，不同的是mask一个字，replace x是连续的几个字。
3. Drop，没有替换操作，直接随机丢弃一些字符。

其中replace pan法是最好的，T5模型使用的就是这种。

 第三个方面，对该文本百分之多少进行破坏呢。挑了4个值，10%，15%，25%，50%，最后发现BERT的15%是最好的。Replace span对大概多长的小段进行破坏呢，2,3,5,10这四个值，最后发现3结果是最好的。

简单总结T5模型：

        使用的是Transformer encoder-decoder模型

        使用的是 BERT-style式破坏

        使用的是Replace span 的破坏策略（小段替换）

        使用的是15%的破坏比

        使用的是3的破坏小段长度

模型的参数

        Small，encoder,decoder都有6层，隐维度512,8头。

        Large,encoder,decoder用BERT-large设置，除了层数只用12层。

多语言模型mT5

主要跟T5模型差不多，不一样的有两点：

BPE

Wordpiece 词嵌入

Sentencepiece 意群（句子嵌入，通用的各种语言都能切分）

Beam_search 柱搜索 集束搜索 求无限接近最优解的次优解

Viterbi 求解最优解 唯一最优解