拿来即可用系列——10行代码搭建elmo文本分类模型

最新推荐文章于 2023-07-20 11:35:23 发布

一条水里的鱼

最新推荐文章于 2023-07-20 11:35:23 发布

阅读量603

点赞数 1

分类专栏：拿来即可用系列❤️ 文章标签： elmo 文本分类 tensorflow_hub

本文链接：https://blog.csdn.net/qq_40859560/article/details/111947031

版权

拿来即可用系列❤️ 专栏收录该内容

7 篇文章 1 订阅

订阅专栏

一、前言

很遗憾的说，elmo与bert相比，几乎没什么优势，所以在NLP任务中，基本可以利用bert替代elmo。既然这样为什么写这篇文章来介绍elmo文本分类的实践，首先了解elmo，可以更好的理解bert的产生的过程，另外呢，如果你打比赛，可能需要多做一个模型来融合。

二、Elmo文本分类

#Author = TJL
#date:2020/12/11
import tensorflow as tf
import os
from tensorflow import keras
import tensorflow_hub as hub
import numpy as np
os.environ["TFHUB_CACHE_DIR"]='preprocessing/tfhub' #设置模型缓存路径

train_data=np.array(['it is cool','it is bad','it is wonderful']) #3,1

train_label=np.array([1,0,1])
valid_data,valid_label=train_data,train_label
embedding = "https://tfhub.dev/google/tf2-preview/gnews-swivel-20dim/1"
hub_layer = hub.KerasLayer(embedding,
                           input_shape=[],
                           dtype=tf.string,
                           trainable=True)
model = keras.Sequential()
model.add(hub_layer)
model.add(keras.layers.Dense(16, activation='relu'))
model.add(keras.layers.Dense(2, activation='softmax'))

model.summary()

model.compile(optimizer='adam',loss='sparse_categorical_crossentropy',metrics=['acc'])
model.fit(train_data,train_label,epochs=5,batch_size=2,validation_data=(valid_data,valid_label))
logits=model.predict(valid_data)
print(logits) #shape(None,2)

可见，借用tensorflow_hub实现elmo文本分类是非常的简便的。具体的运行环境要求：tensorflow>=2.0，并且需要pip install tensorflow_hub模块

代码完整的介绍可见：https://github.com/ttjjlw/NLP/tree/main/Classify%E5%88%86%E7%B1%BB/elmo/tf.keras