fasttext 安装_fasttext的简单介绍

需要注意的问题：

1、linux mac 平台

2、标签中的下划线是两个！两个！两个！

环境说明：python2.7、linux

自己打自己脸，目前官方的包只能在linux，mac环境下使用。误导大家了，对不起。

测试facebook开源的基于深度学习的对文本分类的fastText模型

fasttext python包的安装:

1 pip install fasttext

第一步获取分类文本，文本直接用的清华大学的新闻分本，可在文本系列的第三篇找到下载地址。

输出数据格式： 样本 + 样本标签

说明：这一步不是必须的，可以直接从第二步开始，第二步提供了处理好的文本格式。写这一步主要是为了记忆当时是怎么处理原始文本的。

import jieba

import os

basedir = "/home/li/corpus/news/" #这是我的文件地址，需跟据文件夹位置进行更改

dir_list = ['affairs','constellation','economic','edu','ent','fashion','game','home','house','lottery','science','sports','stock']

##生成fastext的训练和测试数据集

ftrain = open("news_fasttext_train.txt","w")

ftest = open("news_fasttext_test.txt","w")

num = -1

for e in dir_list:

num += 1

indir = basedir + e + '/'

files = os.listdir(indir)

count = 0

for fileName in files:

count += 1

filepath = indir + fileName

with open(filepath,'r') as fr:

text = fr.read()

text = text.d