【NLP】文本分类TextRNN

最新推荐文章于 2022-09-08 23:39:31 发布

阅读量361

点赞数

分类专栏： NLP 文章标签：自然语言处理

本文链接：https://blog.csdn.net/qq_31779317/article/details/106278179

版权

NLP 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

一、理论

二、代码

TextRNN（tf2.0实现，主要使用其中的keras包）

run.py
model = MyModel(config)
model.build(input_shape=(None, sentence_len)) # 句子长度

代码中具体参数可参考：传送门

model.py
from tensorflow.keras.layers import Dense, Embedding, LSTM, Dropout, Flatten**

### model类
class MyModel(tf.keras.Model):
    def __init__(self, config):
        super(MyModel, self).__init__()
        self.config = config
        self.embedding = Embedding(self.vocab_size, self.embedding_dim, 
        　　　 　　　 　　　　　　　　　input_length=self.sentence_len, 
        　　　 　　　 　　　　　　　　　weights=[self.embedding_pretrained],trainable=False)
        
        ### LSTM层。
        # units：LSTM隐藏层
        # return_sequences：Ture返回全部step的hidden state值，False返回最后一个，
          ！当True时增加Flatten层，False去掉Flatten层。！
        self.RNN = LSTM(units=self.hidden_size,return_sequences=True,activation='relu',)
        
        ### BiLSTM 双向LSTM层。
        #self.biRNN = Bidirectional(LSTM(units=self.hidden_size,return_sequences=True,
        　　　　　　　　  　　　　　　　　　　　activation='relu',))
        ###
        
        ### 多层BiLSTM层
        #self.biRNN = Bidirectional(LSTM(units=self.hidden_size,return_sequences=True
        　　　　　　　　  　　　　　　　　　　　activation='relu',))
        #self.dropout = Dropout(self.dropout)
        #self.biRNN2 = Bidirectional(LSTM(units=self.hidden_size,return_sequences=True
        　　　　　　　　  　　　　　　　　　　　activation='relu',))
        #self.dropout = Dropout(self.dropout)
        ###
        
        self.dropout = Dropout(self.dropout)
        self.flatten = Flatten()
        self.out_put = Dense(units=self..num_classes, activation='softmax')

def build(self, input_shape):
　　super(MyModel, self).build(input_shape)    

def call(self, x):
    x = self.embedding(x)
    x = self.RNN(x)
    x = self.dropout(x)
    x = self.flatten(x)
    x = self.out_put(x)
    return x