IK分词器测试代码

最新推荐文章于 2024-07-15 10:07:05 发布

yinbenrong

最新推荐文章于 2024-07-15 10:07:05 发布

阅读量286

点赞数 1

文章标签： java

本文链接：https://blog.csdn.net/yinbenrong/article/details/126490504

版权

该博客展示了如何利用IKAnalyzer 2012_u6版本进行中文分词。KeywordUtil类中定义了一个静态方法analyze，它接收一个字符串，通过IKSegmenter进行分词，并返回分词结果。在main方法中，对示例句子进行了分词演示，输出了分词后的单词列表。

摘要由CSDN通过智能技术生成

<dependency>
    <groupId>com.janeluo</groupId>
    <artifactId>ikanalyzer</artifactId>
    <version>2012_u6</version>
</dependency>


public class KeywordUtil {
    public static List<String> analyze(String text){
        ArrayList<String> result = new ArrayList<>();
        StringReader stringReader = new StringReader(text);
        IKSegmenter ikSegmenter = new IKSegmenter(stringReader, true);

        Lexeme next = null;
        try {
            while ( (next= ikSegmenter.next())!=null){
                String  word= next.getLexemeText();
                result.add(word);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        return result;
    }

    public static void main(String[] args) {
        System.out.println(analyze("分词器在以后用上的时候在写文章进行详细介绍"));
    }
}


输出结果

[分词器, 在, 以后, 用上, 的, 时候, 在, 写文章, 进行, 详细, 介绍]