fasttext的基本使用 java 、python为例子

fasttext的基本使用 java 、python为例子

 

今天早上在地铁上看到知乎上看到有人使用fasttext进行文本分类,到公司试了下情况在GitHub上找了下,最开始是c++版本的实现,不过有JavaPython版本的实现了,正好拿下来试试手,

 

python情况:

python版本参考,作者提供了详细的实现,并且提供了中文分词之后的数据,正好拿下来用用,感谢作者,代码提供的数据作者都提供了,点后链接在上面有百度盘,可下载,java接口用到的数据也一样:

 

[html]  view plain  copy
 
  1. http://blog.csdn.net/lxg0807/article/details/52960072  

[python]  view plain  copy
 
  1. import logging  
  2. import fasttext  
  3. logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)  
  4. #classifier = fasttext.supervised("fasttext/news_fasttext_train.txt","fasttext/news_fasttext.model",label_prefix="__label__")  
  5. #load训练好的模型  
  6. classifier = fasttext.load_model('fasttext/news_fasttext.model.bin', label_prefix='__label__')  
  7. result = classifier.test("fasttext/news_fasttext_test.txt")  
  8. print(result.precision)  
  9. print(result.recall)  
  10. labels_right = []  
  11. texts = []  
  12. with open("fasttext/news_fasttext_test.txt") as fr:  
  13.     lines = fr.readlines()  
  14. for line in lines:  
  15.     labels_right.append(line.split("\t")[1].rstrip().replace("__label__",""))  
  16.     texts.append(line.split("\t")[0])  
  17. #     print labels  
  18. #     print texts  
  19. #     break  
  20. labels_predict = [e[0] for e in classifier.predict(texts)] #预测输出结果为二维形式  
  21. # print labels_predict  
  22. text_labels = list(set(labels_right))  
  23. text_predict_labels = list(set(labels_predict))  
  24. print(text_predict_labels)  
  25. print(text_labels)  
  26. A = dict.fromkeys(text_labels,0)  #预测正确的各个类的数目  
  27. B = dict.fromkeys(text_labels,0)   #测试数据集中各个类的数目  
  28. C = dict.fromkeys(text_predict_labels,0) #预测结果中各个类的数目  
  29. for i in range(0,len(labels_right)):  
  30.     B[labels_right[i]] += 1  
  31.     C[labels_predict[i]] += 1  
  32.     if labels_right[i] == labels_predict[i]:  
  33.         A[labels_right[i]] += 1  
  34. print(A )  
  35. print(B)  
  36. print( C)  
  37. #计算准确率,召回率,F值  
  38. for key in B:  
  39.     p = float(A[key]) / float(B[key])  
  40.     r = float(A[key]) / float(C[key])  
  41.     f = p * r * 2 / (p + r)  
  42.     print ("%s:\tp:%f\t%fr:\t%f" % (key,p,r,f))  

 

java版本情况:

githup上下载地址:
[html]  view plain  copy
 
  1. https://github.com/ivanhk/fastText_java  


看了下sh脚本的使用方法,自己简单些了个text的方法,正好用用,后面会拿xgboost进行对比,看看效果,效果可以的写成service进行上线:
[java]  view plain  copy
 
  1. package test;  
  2. import java.util.List;  
  3.   
  4. import fasttext.FastText;  
  5. import fasttext.Main;  
  6. import fasttext.Pair;  
  7.   
  8. public class Test {  
  9.     public static void main(String[] args) throws Exception {  
  10.   
  11.         String[] text = {  
  12.                 "supervised",  
  13.                 "-input",  
  14.                 "/Users/shuubiasahi/Documents/python/fasttext/news_fasttext_train.txt",  
  15.                 "-output", "/Users/shuubiasahi/Documents/faste.model", "-dim",  
  16.                 "10", "-lr", "0.1", "-wordNgrams", "2", "-minCount", "1",  
  17.                 "-bucket", "10000000", "-epoch", "5", "-thread", "4" };  
  18.         Main op = new Main();  
  19.         op.train(text);  
  20.         FastText fasttext = new FastText();  
  21.         String[] test = { "就读", "科技", "学生" ,"学生","学生"};  
  22.         fasttext.loadModel("/Users/shuubiasahi/Documents/faste.model.bin");  
  23.         List<Pair<Float, String>> list = fasttext.predict(test, 6);  //得到最大可能的六个预测概率  
  24.         for (Pair<Float, String> parir : list) {  
  25.             System.out.println("key is:" + parir.getKey() + "   value is:"  
  26.                     + parir.getValue());  
  27.         }  
  28.         System.out.println(Math.exp(list.get(0).getKey()));  //得到最大预测概率  
  29.   
  30.     }  
  31.   
  32. }  


这里设置bucket不适用设置过大,过大会产生OOM,而且模型保存太大,上面的设置模型保存就有1个g,-wordNgrams可以设置为2比设置为1能提高模型分类的准确性,
 
结果情况:

 

 

key is:0.0   value is:__label__edu

key is:-17.75125   value is:__label__affairs

key is:-17.75125   value is:__label__economic

key is:-17.75125   value is:__label__ent

key is:-17.75125   value is:__label__fashion

key is:-17.75125   value is:__label__game

1.0


 

注意fasttext对输入格式有要求,label标签使用  “__label__”+实际标签的形式,   over

有问题联系我

 

 

 

 

2016年5月26   我的模型已经上线了    效果还不错   

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值