fasttext文本分类python实现_一个使用fasttext训练的新闻文本分类器/模型

fastext是什么?

Facebook AI Research Lab 发布的一个用于快速进行文本分类和单词表示的库。优点是很快，可以进行分钟级训练，这意味着你可以在几分钟时间内就训练好一个分类模型。

本文主要内容？

使用fasttext训练一个效果不错的新闻文本分类器/模型。

使用到的技术和环境？

1. python 3.7、fasttext 0.9.1(截至2020/3/29最新版本) Windows 10 (实验过程中使用的环境)

2. 1核2G 1Mbps 腾讯云服务器 Ubuntu 18.04 (最终的模型产出于此，如果你手头有Linux系统，那最好不过了)

需要注意什么？

1. 博主并非是专业的NLP学习者，所以以下内容是参考诸多博客、官方doc以及GitHub上的项目说明而来，算是拾人牙慧。但总结一些坑，便于后来者食用。

2. 强烈建议使用Linux or Mac OS 系统来训练，哪怕你是要在Windows下使用(训练的模型是可以多系统之间通用的，比如我在Linux-Ubuntu中训练，在Windows上可以正常使用)。但是在Windows下训练也是可行的，至少可以通过python安装fasttext库来使用，但是会有问题——无法进行自动超参数优化(至少目前如此)。

重要的文档？

Let's start

Step1: 准备训练集和测试集

这里的参考训练测试集来自 一位博主博客，他已经进行过中文分词，所以可以直接拿来训练。

下载地址(如果地址失效，请在博客下方留言评论，或者尝试联系上方QQ/Email)

如果上述链接失效，可从下述链接获取：

Step2: 在机器上构建fasttext

1. Windows 10 os : 过程中发现许多人在安装时遇到了问题，这里建议直接使用python pip工具安装

pip/pip3 install fastext

安装成功后，import它即可。

2. Linux  os : 按照官网教程，下面照搬过来

命令行键入：

$ git clone https://github.com/facebookresearch/fastText.git

$ cd fastText

$make

如果没有git工具，按照提示安装一下。

Step3 : 进行训练

是的，你已经可以开始训练了，而训练....也只需要一行命令，即为简单，且可以在几分钟内完成。

1. 使用默认参数进行训练：

命令行键入：

$ ./fasttext supervised -input news_fasttext_train.txt -output model_xxxx

其中-input后跟训练集的路径，要修改为自己放置训练集的path,如果就放在fasttext文件夹下，那么直接按照上面运行即可。-output是模型的名字，训练完成后会产生一个model_xxxx.bin的文件，即是模型，可以自行设置模型文件名。

2. 自己设定参数进行训练：

命令行键入：

$ ./fasttext supervised -input news_fasttext_train.txt -output model_xxxx -lr 1.0 -epoch 25

上面的命令新增设定了-lr学习率和-epoch训练集送入的次数，当然还有其他的参数，请自行前往官网或者GitHub项目查看并设定，再进行训练。

3. 自动超参数优化

找到最佳超参数对于构建有效模型至关重要。但是，手动搜索最佳超参数很困难。但是，fasttext可以为你找到对于测试集来说最佳的超参数，然后使用这些超参数，再用训练集进行训练。而使用自动超参数优化，只需要在命令行中加入-autotune-validation 测试集path。

命令行键入：

$ ./fasttext supervised -input news_fasttext_train.txt -output model_xxxx -autotune-validation news_fasttext_test.txt

这样一来，就可以不用自己费力调参，直接得到对于测试集来说最佳的模型，从我使用的情况来看，确实如此。下图中，我展示了两个新闻主题的训练过程中的数据，最后使用此功能得到了相较此前最好的效果。证明，使用自动超参数优化来做，比自己摸索调参要来的更快、效果更好。

Step4 : 计算一下评价数据

precision、recall、f1-score ，尤其后者是评价模型优劣的重要数据，我们来计算一下。

这里要使用到python来写脚本：(脚本来自上面博客，但是在py3.7下运行会出错，我进行了修改)

1 # -*- coding: utf-8 -*-

2 # @Author : yocichen

3 # @Email : yocichen@126.com

4 # @File : test.py

5 # @Software: PyCharm

6 # @Time : 2020/3/27 21:49

7

8 import fasttext

9

10 # 1. 加载模型

11 # 模型文件名自行修改

12 classifier = fasttext.load_model('Model/model_0328_1854.bin')

13

14 # 2. 读入测试集文件，进行预处理

15 labels_right = []

16 texts = []

17 with open("Data/news_fasttext_test.txt", encoding='utf-8') as fr:

18 for line in fr:

19 line = line.rstrip()

20 labels_right.append(line.split("\t")[1].replace("__label__", ""))

21 texts.append(line.split("\t")[0])

22

23 labels_predict = []

24 for t in texts:

25 res = classifier.predict(t)

26 labels_predict.append(res[0][0].replace('__label__', ''))

27

28 text_labels = list(set(labels_right)) # 训练集中的标签类别

29 text_predict_labels = list(set(labels_predict)) # 预测结果中的标签类别

30

31 A = dict.fromkeys(text_labels,0) #预测正确的各个类的数目

32 B = dict.fromkeys(text_labels,0) #测试数据集中各个类的数目

33 C = dict.fromkeys(text_predict_labels,0) #预测结果中各个类的数目

34 for i in range(0,len(labels_right)):

35 B[labels_right[i]] += 1

36 C[labels_predict[i]] += 1

37 if labels_right[i] == labels_predict[i]:

38 A[labels_right[i]] += 1

39

40 print('A:', A)

41 print('B', B)

42 print('C', C)

43

44 # 3. 计算准确率，召回率，F值

45 for key in B:

46 try:

47 r = float(A[key]) / float(B[key])

48 p = float(A[key]) / float(C[key])

49 f = p * r * 2 / (p + r)

50 print("%s:\t p:%f\t r:%f\t f:%f" % (key,p,r,f))

51 except:

52 print("error:", key, "right:", A.get(key,0), "real:", B.get(key,0), "predict:",C.get(key,0))

python script

运行结果：

Step5 ：实战测试一下

我在各大新闻网站随机摘抄了20条新闻(片段)，其中大部分是财经新闻，来小小的测试一下我们的分类器/模型。

下载地址：

下面编写脚本来加载上面训练好的模型，进行简单测试

1 # -*- coding: GBK -*-

2 # @Author : yocichen

3 # @Email : yocichen@126.com

4 # @File : predict.py

5 # @Software: PyCharm

6 # @Time : 2020/3/27 13:15

7

8 import fasttext

9 import sys, os

10 import jieba

11 from preprocess import *

12

13 # 加载模型

14 model = fasttext.load_model('Model/model_0328_1854.bin')

15

16 with open('Data/news_sample.txt', encoding='utf-8') as f:

17 for line in f:

18 handle_text = seg(line.lower().replace('\n', ''), stop_words(), apply=clean_txt)

19 res1 = model.predict(handle_text)

20 print(res1[0][0].replace('__label__', ''))

predict.py

1 import re

2 from types import MethodType, FunctionType

3 import jieba # 中文分词第三方库，需要自行安装 pip3 install jieba / 在pycharm中安装也可

4

5 # 文本清洗

6 def clean_txt(raw):

7 fil = re.compile(r"[^0-9a-zA-Z\u4e00-\u9fa5]+")

8 return fil.sub(' ', raw)

9

10 # 中文分词，去通用词，再连接成字符串

11 def seg(sentence, sw, apply=None):

12 if isinstance(apply, FunctionType) or isinstance(apply, MethodType):

13 sentence = apply(sentence)

14 return ' '.join([i for i in jieba.cut(sentence) if i.strip() and i not in sw])

15

16 # 停用词，stop_words.txt 需要下载

17 def stop_words():

18 with open('Data/stop_words.txt', 'r', encoding='utf-8') as swf:

19 return [line.strip() for line in swf]

20

21

22 # 对某个sentence进行处理：

23 # content = '上海天然橡胶期价周三再创年内新高，主力合约突破21000元/吨重要关口。'

24 # res = seg(content.lower().replace('\n', ''), stop_words(), apply=clean_txt)

25 # print(res)

preprocess.py

测试结果：

根据人工判断进行比对，准确率大概在 18-19/20吧！

到这里，使用fastext训练一个新闻文本分类器，就结束了，其实自己的工作并不多，但是也学到了一些文本分类相关的东西，愿后来的你也能有所收获！

参考文档

[3] 利用Fast-Text进行中文文本分类[前期在用这里的训练集，虽然f1很高0.98，但实际使用效果并不好，不推荐]