Spark + ansj 对大数据量中文进行分词

最新推荐文章于 2022-06-01 15:12:18 发布

xiao_jun_0820

最新推荐文章于 2022-06-01 15:12:18 发布

阅读量6.2k

点赞数

分类专栏： spark

spark 专栏收录该内容

44 篇文章

订阅专栏

本文介绍了如何利用Spark和ANJS库对存储于HDFS中的中文文本数据进行分词操作，包括下载ANJS源码、实现属性类的序列化接口、构建Spark依赖等步骤，并提供了示例代码。通过引入停用词和词性过滤，实现文本数据的高效分词。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目前的分词器大部分都是单机服务器进行分词，或者使用hadoop mapreduce对存储在hdfs中大量的数据文本进行分词。由于mapreduce的速度较慢，相对spark来说代码书写较繁琐。本文使用 spark + ansj对存储在hdfs中的中文文本数据进行分词。
首先下载ansj源码文件，下载地址为 https://github.com/NLPchina/ansj_seg ，同时需要下载nlp-lang.jar包，下载地址上述网站中可以看到。由于spark传输数据必须进行序列化，而ansj中的属性类都没有实现序列化，需要将ansj_seg-master/src/main/java/org/ansj/domain中的属性类AnsjItem、Nature、 NewWord、NumNatureAttr、PersonNatureAttr、Term、TermNature、TermNatures分别实现 Serializable接口。然后使用maven的mvn install生成ansj_seg-2.0.8.jar包，将编译的ansj_seg-2.0.8.jar包和之前下载的nlp-lang-0.3.jar包加入到spark依赖中，spark便可对hdfs中的文本进行分词。另外，将序列化后编译的jar上传至csdn，可以直接下载使用。
实例如下：

 
        import 
         org.apache.spark.SparkContext
       
        import 
         org.ansj.domain.Term
       
        import 
         org.ansj.splitWord.analysis.ToAnalysis
       
        import 
         org.ansj.util.FilterModifWord
       
        import 
         org.ansj.library.UserDefineLibrary
       
        import 
         java.util.Arrays
       
        object TokenTest 
        extends 
         App
       
        {
       
        val sc = 
        new 
         SparkContext
       
        val numpatitions = 
        100
       
        val text = sc.textFile(
        "/path/to/ChineseFile"
        , numpatitions).map { x =>
       
        val temp = ToAnalysis.parse(x)
       
        //加入停用词
       
        FilterModifWord.insertStopWords(Arrays.asList(
        "r"
        ,
        "n"
        ))
       
        //加入停用词性    
       
        FilterModifWord.insertStopNatures(
        "w"
        ,
        null
        ,
        "ns"
        ,
        "r"
        ,
        "u"
        ,
        "e"
        )
       
        val filter = FilterModifWord.modifResult(temp)
       
        //此步骤将会只取分词，不附带词性
       
        val word = 
        for
        (i<-Range(
        0
        ,filter.size())) yield filter.get(i).getName
       
        word.mkString(
        "\t"
        )
       
        }
       
        text.saveAsTextFile(
        "/pathr/to/TokenFile"
        )
       
        }