文本分类半监督问题（九）

2021SC@SDUSC

下面我们分析mixtext模型的实现代码：

mixtext.py文件：

首先，我们看到，该模型分为三个类，第一个是BertModle4Mix，第二个是BertEncode4Mix，第三个是我们所需要的MixText，从代码细节中可以得知，3⃣️调用1⃣️而1⃣️又调用了2⃣️。​​​​​​​

首先我们来分析BertModel4Mix类：这个类主要是设置模型的一些mask，token_type, 输入id做词嵌入等

首先是它的构造函数，将bert模型改成了mix，其内含有继承bert的编码方法embeddings算法，模型encoder,而Bertpooler是一个全连接加一个函数激活。self.init_weights是初始化参数。

class BertModel4Mix(BertPreTrainedModel):
    def __init__(self, config):
        super(BertModel4Mix, self).__init__(config)
        self.embeddings = BertEmbeddings(config)
        self.encoder = BertEncoder4Mix(config)
        self.pooler = BertPooler(config)

        self.init_weights()

下面的方法是用来修改模型头部的，heads_to_prune参数即为我们需要修改的层的头部名

def _prune_heads(self, heads_to_prune):

    for layer,