基于机器学习的文本分类存在如下缺陷:
- 转换得到的维度较高,训练时间较长;
- 没有考虑单词之间的联系;
深度学习也可以用于文本表示,还可以将其映射到低维空间,比较典型的例子有:FastText、Word2Vec和Bert。
FastText
FastText是一种典型的深度学习词向量表示方式,它可以非常简单的通过Embedding层将单词映射到稠密空间,然后将句子中所有的单词在Embedding空间中进行平均,进而完成分类操作。
FastText在文本分类任务上是由于TF-IDF的:
- F方法用单词的Embedding叠加获得的文档向量,将相似的向量分为一类
- F方法学习到的Embedding空间维度比较低,可以快速进行训练
代码实现
# 转换为FastText需要的格式
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text','label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')
import fasttext
model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2,
verbose=2, minCount=1, epoch=25, loss="hs")
val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))
# 0.82