基于hanLP的中文分词详解-MapReduce实现&自定义词典文件

前言

文本分类任务的第1步，就是对语料进行分词。在单机模式下，可以选择python jieba分词，使用起来较方便。但是如果希望在Hadoop集群上通过mapreduce程序来进行分词，则hanLP更加胜任。

一、使用介绍

hanLP是一个用java语言开发的分词工具， 官网是 http://hanlp.linrunsoft.com/index.html。 hanLP创建者提供了两种使用方式，一种是portable简化版本，内置了数据包以及词典文件，可通过maven来管理依赖，只要在创建的 maven 工程中加入以下依赖，即可轻松使用（强烈建议大家优先采用这种方法）。

<dependency>
    <groupId>com.hankcs</groupId>
    <artifactId>hanlp</artifactId>
    <version>portable-1.2.8</version>
</dependency>

具体操作方法如图示，在pom.xml中，加入上述依赖信息，笔者使用的IDEA编辑器就会自动开始解析依赖关系，并导入左下角的hanlp jar包。

第二种方法需要自己下载data数据文件，并通过一个配置文件 hanlp.properties来管理各种依赖信息，其中最重要的是要人为指定data目录的家目录。（不建议大家一上来就使用这种方法，因为真心繁琐！）

二、通过第一种方法，建立maven工程，编写mapreduce完整程序如下（亲测运行良好）：

import com.hankcs.hanlp.HanLP;
import com.hankcs.hanlp.dictionary.stopword.CoreStopWordDictionary;
import com.han