R语言自然语言处理1:中文语料库构造

欢迎关注我的新浪微博：Jenny爱学习

微信公众号：R语言数据分析与实践

如论文借鉴, 请标明引用.  作者:李珍妮     邮箱:lizhenni1202@outlook.com

李珍妮. R语言自然语言处理:中文语料库构造 [EB/OL]  网址. 2018-8-17

 

本文将介绍徐志摩诗集的文本挖掘方法

NLP(Natural Language Processing)自然语言处理,旨在让计算机理解人类的语言,并实现人机智能交互.商业、政府机构、个人都面对着海量的文本数据,这些数据与我们的生活、工作日常休戚相关,大量的文本中潜在着巨大的信息价值亟待人们发现.

当前, 自然语言处理有三个主要应用方向:

• 语言计算——面向文本大数据的语言处理:词法分析、语法分析、语义分析、文本分类、文档摘要、机器翻译等
• 知识计算——从无结构的大数据中准确高效的获取知识:开放信息抽取、知识获取与融合、知识表示、知识推理、多模态知识工程
• 社会计算——在线媒体积累了海量文本内容:用户画像、个性化推荐、社会网络分析

本篇文章的文本挖掘工作,将通过最新版本的R支持包——tm包进行文本挖掘的内容.tm包目前已支持PDF/DOC等常见文档格式的读取和处理,同时支持在线数据/zip压缩数据的处理.  汉字目前普及度越来越大, tm包已经可以支持汉字的文本挖掘工作.

 

一.操作环境

• MacOS 10.12.3 
• R version 3.44(2018-3-15)
• tm包(0.7-5) 2018-7-29

二.工作原理

tm包通过Corpus(语料)对文本文档进行处理, 语料为文本文档的集合.

函数说明:

• VCorpus(x, readerControl):用于存储临时语义, 即临时变量, 临时变量在R的文本处理中充当中间转换的作用. 当R对象被移除, 临时变量随即丢失.
• PCorpus :用于处理永久语义. 文本内容保存在数据库/word文档等中, 即数据保存在R的外部. R通过指针访问外部文本数据库, 此时R对象相当于全局变量, 所有涉及相应语义的文本挖掘结果将被保存.

VCorpus(x, readerControl)参数说明:

1.  x需使用单一数据类型作为tm包的文本处理对象, 可选对象为

• DirSource=目录(用于处理文件系统),
• VectorSource=向量,
• DataframeSource=数据框结构(如csv 文件)
• URISource
• XMLSource=网络文本
• ZipSource=压缩文本

getSource( ) 列出可用的数据形式

tm包可分析的数据形式

 

2. readerControl 是一串带有reader和language的列表

reader  通过原始文本在R中构造文档 可选参数:

• readPlain()
• readPDF()
• readDOC()
• readXML()

……

getReaders() 可查看tm包当前支持的最新文档类型

tm支持的数据种类

 

language 采用ISO 639-2进行编码

PCorpus(x, readerControl, dbControl) 参数说明:

dbControl参数通过命名参数dbName将文档输出到外部数据存储对象中.

dbType 通过filehash参数设置有效数据库

 

三 语言设置

tm包中处理语言使用ISO-639-2,中文对应的编码为“zh”,其他编码可在表中查询

 

四. 构造语料

1.载入相关packages

加载packages

1. txt格式的文本信息 :

结果返回txt格式文档有6个

 

2. doc格式:

• 向量是数据处理中最快速、高效的方式.
• 将doc内容, 按照向量的形式构造出语料,即“term-document matrices” (词项-文档矩阵)

构造2个doc文件作为语料的简单例子

 

3.构造语料分析文档

构造二进制文本文档

 

5. 数据保存

通过操作外部数据集(doc/txt), 在R中构造了一个语料库, 由于使用的是VCorpus参数,  这些数据/语料仅作为临时变量存储在R中, 并未在硬盘中永久保存. 

通常, 一个文本挖掘的工作是长期、连续的. 因此需要将文本挖掘过程中, 产生的临时变量存储.

使用 writeCorpus( )函数:

将语料写到硬盘上存储

 

6.语料检查

通常一个语料库是一个数据集, 包含了上千或上万篇幅的文档,  print( )函数提供了一个精简查看文档的方式,

inspect( )函数可查看文档的更多信息

查看语料库信息

 

tm包对文章的操作均采用向量的方式. tm包中, 对于字符的操作与向量的操作通用.

获取第6篇文章内容——《再别康桥》

读取中文文档内容

 

由于tm包将文本中的字符按照向量的形式进行操作, 因此tm包包括了所有对向量的操作方式.(提取、转置、特征值等等)