[R语言]文本分类(2)

本文档介绍了使用R语言进行文本分类的过程,特别是如何制作语料库。内容包括将标题和描述合并作为特征,进行分词、去除停用词,最终生成文档-词项矩阵,为监督学习的分类任务准备数据。
摘要由CSDN通过智能技术生成

上一节,介绍了R语言,和本人做文本分类时运用的几个包,还有个小例子。
这一节就用代码来简单介绍下我做文本分类的过程。

我的分类很简单,就是给你一段文字,你将它分类到特定的类别。当然,这是前提是需要大量的语料库,且已经分好类。可以理解为运用监督学习的方法吧。不过我的类别较多,不是二元分类,但是目前的分类器都是二元的,二元的可以改造成多元分类器。有One to One 和 One to the other分类。所幸,R语言里的maxent包,本身就已经帮你做好了,且它会根据类别近似度打分,你可以得到该文档在各类别下的分数,得到排名,从而得出与之相近的多个类别。无疑是非常有用的。

制作语料库

1、我的文本数据在经过一些处理后格式就是:

文本标题(Title) 文本描述(Description) 类别(Type)
…… …… A
…… …… B
…… …… C

我是以词类作为特征的,暂时将标题也作为特征。所以先将标题和描述合并。
可通过如下函数:

BindData <- function(data)
{
  #将标题和描述合并为一个表
  temp <- 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值