项目背景:为了解决采集的文章,智能进行文章分类
因为本人是java代码,看java jar比较爽。
于是选择了fasttext4j ( facebook开发源代码,底层是c++,做的jar)
业务实现流程
1:采集一个目标文章网站, 文章内容+栏目id
2:整理数据样本。把mysql数据转移到File。作为fasttext4j的数据样本。
样本数据如图,本人花了3小时下载的模板。 中文分词参数,一行一篇文章。 然后一行最后面是__label__xx 文章分类编号
3:用fasttext进行训练
注:请使用ModelName.sup 的训练模式, 而不是用词向量,后面这种方式生成模型。
4:第一次生成模型很麻烦,900片文章,预计在2分钟左右。以后直接调用模型即可。
5:predict预测
现在遇到的问题
数据样本不均匀的时候,然后==》一篇文章参数进来,智能匹配到5的概率很大
当前的解决方案,为了不同类目的样本一致,随机取13篇文章,再跑模型训练,你会怎么去处理呢?
本人微信:liuxia8_com 一起学习NLP处理技术。