Java利用HanLP完成语句相似度分析

在做考试系统需求时，后台题库系统提供录入题目的功能。在录入题目的时候，由于题目来源广泛，且参与录入题目的人有多位，因此容易出现录入重复题目的情况。所以需要实现语句相似度分析功能，从而筛选出重复的题目并人工处理之。

分析语句相似度思想的具体介绍，参考阮一峰的博客：http://www.ruanyifeng.com/blog/2013/03/cosine_similarity.html

下面介绍如何使用Java实现上述想法，完成语句相似度分析：

1、使用HanLP完成分词：

首先，添加HanLP的依赖：（jsoup是为了处理题干中的html标签，去除html标签得到纯文本的题干内容）

        <dependency>
            <groupId>com.hankcs</groupId>
            <artifactId>hanlp</artifactId>
            <version>portable-1.6.6</version>
        </dependency>

        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.10.2</version>
        </dependency>

分词代码如下，需要处理html标签和标点符号：

    private static List<String> getSplitWords(String sentence) {
        // 去除掉html标签
        sentence = Jsoup.parse(sentence.replace("&nbsp;","")).body().text();