用户商品评论自动分类
实习阶段的任务是对商品评论信息进行自动分类,主要针对的是家用电器商品评论数据,现在实习要结束了,来总结一下实现这一任务的主要流程。
一语料库的准备
商品评论数据的主要特点:
1)评论一般较短,并且语言口语化,没有标准的语法规则,经常出现网络词汇
2)评论一般涉及商品的多个属性
针对这些特点,我将评论拆分成句子,然后人工给每个句子打标签,作为训练模型的语料库。
这样做的优缺点是:
1、 使得一条评论可以有多个标签,这满足一条评论涉及商品多个属性的需求。
2、 可以提高评论的分类精度,这是因为如果评论具有某个属性标签,只要其中的一个句子被正确打上这个标签,那么该评论就被赋予了这个属性标签。
3、 需要更多的人工去为句子打标签。
由于数据缺乏,只对某个商品的三个属性进行了自动分类。
二 自动分类流程
1) 分类流程
文本自动分类的过程总体可划分为训练阶段和分类阶段两部分。训练的目的是通过文本和类别之间的联系构造分类模型,使其用于分类。分类过程是跟据训练结果对未知文本进行分类,给定类别标识的过程。
2) 可利用工具:LingPipe
lingpipe 是alias公司开发的一款自然语言处理软件包,功能非常强大,最重要的是文档很详细,每个模型甚至连参考论文都列出来了,不仅使用方便,也非常适合模型的学习,并且是java开源的。