好的,这是一个使用 BERT 进行文本分类的简单代码示例:
首先,导入所需的库:
import tensorflow as tf
import tensorflow_hub as hub
from tensorflow.keras import layers
然后,加载 BERT 预训练模型:
bert_model = "https://tfhub.dev/google/bert_uncased_L-12_H-768_A-12/1"
bert_layer = hub.KerasLayer(bert_model, trainable=True)
接下来,构建模型的输入层:
input_ids = layers.Input(shape=(None,),dtype=tf.int64, name="input_ids")
input_mask = layers.Input(shape=(None,), dtype=tf.int64, name="input_mask")
segment_ids = layers.Input(shape=(None,), dtype=tf.int64, name="segment_ids")
对输入文本使用 BERT 层进行编码:
pooled_output, sequence_output = bert_layer([input_ids, input_mask, segment_ids])
接下来,你可以使用序列输出或者池化输出来构建你的分类模型。
例如,如果你想使用池化输出,你可以这样做:
x = layers.Dropout(0.1)(pooled_output)
x = layers.Dense(64, activation='relu')(x)
x = layers.Dropout(0.1)(x)
predictions = layers.Dense(2, activation='softmax')(x)
最后,你可以使用 Model
类来实例化你的模型:
model = tf.keras.Model(inputs=[input_ids, input_mask, segment_ids], outputs=predictions)
你可以使用传统的机器学习方法对模型进行编译和训练。
```python model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=