短文本分类

给text grocery 做个广告。

短文本分类因为特征少,无法得到好的效果。另外,文本短提供的信息有限,需要的样本大,无法通过人工标注来做(减少人工)。

如何扩展特征?

长文本分类方法。84%
尝试用Word2vec对tfidf大的词汇进行扩展。 不可用。 
尝试用lda来扩展特征。 86%. ------ 因为lda扩展的特征有限。一般一条微博只能扩到1到2个特征。
尝试使用bigram来做特征扩展,效果最好。基于libshorttext。 95% 以上。 ------ 就是textgrocery。

如何获取训练文本?

1.通过纯度较高的微博分类账户作为初始训练数据。
2.根据已有数据建立高招回分类器来扩展正例。
3.对已有正例的特征做皮尔逊相关系数排序。用排名较高的词汇进行solr搜索来获取正例。

更好的拟合现有数据? 将训练集的badcase减少

对badcase中svm排序最高来扩展正例。计算badcase的相关系数,特征使用词+bigram。 选取正例加入到训练集。

转至:https://segmentfault.com/a/1190000003939497

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值