推荐十款java开源中文分词组件

最新推荐文章于 2024-07-06 11:24:09 发布
最新推荐文章于 2024-07-06 11:24:09 发布
阅读量397 收藏 3
点赞数 1
文章标签： java 大数据 人工智能
原文链接：http://www.cnblogs.com/zsuxiong/p/6974295.html
版权

1：Elasticsearch的开源中文分词器 IK Analysis(Star:2471)

IK中文分词器在Elasticsearch上的使用。原生IK中文分词是从文件系统中读取词典，es-ik本身可扩展成从不同的源读取词典。目前提供从sqlite3数据库中读取。es-ik-plugin-sqlite3使用方法： 1. 在elasticsearch.yml中设置你的sqlite3词典的位置： ik_analysis_db_path: /opt/ik/dictionary.db 我提供了默认的词典：https:/...

2：开源的java中文分词库 IKAnalyzer(Star:343)

IK Analyzer 是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认...

3：java开源中文分词 Ansj(Star:3019)

Ansj中文分词 这是一个ictclas的java实现.基本上重写了所有的数据结构和算法.词典是用的开源版的ictclas所提供的.并且进行了部分的人工优化 内存中中文分词每秒钟大约100万字(速度上已经超越ictclas) 文件读取分词每秒钟大约30万字 准确率能达到96%以上 目前实现了.中文分词. 中文姓名识别 . 用户自定义词典 可以应用到自...

4：结巴分词 ElasticSearch 插件(Star:188)

elasticsearch官方只提供smartcn这个中文分词插件，效果不是很好，好在国内有medcl大神（国内最早研究es的人之一）写的两个中文分词插件，一个是ik的，一个是mmseg的

5：Java分布式中文分词组件 - word分词(Star:672)

word分词是一个Java实现的分布式的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。能准确识别英文、数字，以及日期、时间等数量词，能识别人名、地名、组织机构名等未登录词

6：Java开源中文分词器jcseg(Star:400)

Jcseg是什么？ Jcseg是基于mmseg算法的一个轻量级开源中文分词器，同时集成了关键字提取，关键短语提取，关键句子提取和文章自动摘要等功能，并且提供了最新版本的lucene, solr, elasticsearch的分词接口， Jcseg自带了一个 jcseg.properties文件...

7：中文分词库Paoding

庖丁中文分词库是一个使用Java开发的，可结合到Lucene应用中的，为互联网、企业内部网使用的中文搜索引擎分词组件。Paoding填补了国内中文分词方面开源组件的空白，致力于此并希翼成为互联网网站首选的中文分词开源组件。 Paoding中文分词追求分词的高效率和用户良好体验。 Paoding...

8：中文分词器mmseg4j

1、mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法(http://technology.chtsai.org/mmseg/ )实现的中文分词器，并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使...

9：中文分词Ansj(Star:3015)

Ansj中文分词 这是一个ictclas的java实现.基本上重写了所有的数据结构和算法.词典是用的开源版的ictclas所提供的.并且进行了部分的人工优化 内存中中文分词每秒钟大约100万字(速度上已经超越ictclas) 文件读取分词每秒钟大约30万字 准确率能达到96%以上 目前实现了....

10：Lucene中文分词库ICTCLAS4J

ictclas4j中文分词系统是sinboy在中科院张华平和刘群老师的研制的FreeICTCLAS的基础上完成的一个java开源分词项目，简化了原分词程序的复杂度，旨在为广大的中文分词爱好者一个更好的学习机会。

转载于:https://www.cnblogs.com/zsuxiong/p/6974295.html

weixin_34238642
关注
Python中文分词组件
a18852867035的博客
09-27 786
1.下载mecab-chinesedic-binary，放在MeCab bin目录下,具体参考：详细详细可参考《用MeCab打造一套实用的中文分词系统》 cmd运行命令：mecab -d mecab-chinesedic-binary wakati wiki.zh.text.jian -o wiki.zh.text.jian.seg -b 10000000  其中，wiki.zh.text.j
IK Analyzer 开源中文分词源代码
03-18
IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始，IK发展为面向Java
Java的中文分词器ansj
最新发布
fangjianj的博客
07-06 1396
Ansj中文分词器，作为一款卓越的开源Java语言工具，它根植于中科院ictclas算法的深厚底蕴，展现出超越众多主流开源分词工具的精准度，如MMseg4j等。Ansj不仅精通于中文分词这一核心技能，更在多个领域展现出其全面性与先进性：它能够精准识别中文姓名，赋予文本处理更深层次的个性化与准确性；支持用户自定义词典，让分词过程更加贴合特定需求与场景；同时，它还集成了关键字提取、自动摘要生成以及关键字标记等高级功能，为文本分析、信息检索等应用提供了强有力的支持。
Java中文分词组件 - word分词
weixin_33878457的博客
04-29 599
2019独角兽企业重金招聘Python工程师标准>>> ...
java中文分词组件word怎么使用_word: Java中文分词组件 - word分词
weixin_42418754的博客
02-13 300
1、快速体验运行项目根目录下的脚本demo-word.bat可以快速体验分词效果用法: command [text] [input] [output]命令command的可选值为：demo、text、filedemotext 杨尚川是APDPlat应用级产品开发平台的作者file d:/text.txt d:/word.txtexit2、对文本进行分词移除停用词：List words = Word...
java中文分词组件-word分词
赵士杰的博客
05-06 767
关键字：java中文分词组件-word分词 word分词器主页 ：https://github.com/ysc/word word分词是一个Java实现的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。 能准确识别英文、数字，以及日期、时间等数量词，能识别人名、地名、组织机构名等未登录词。 同时提供了Lucene、Solr、ElasticSea...
中文分词工具word-1.0,Java实现的中文分词组件多种基于词典的分词算法
11-05
word分词是一个Java实现的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。 能准确识别英文、数字，以及日期、时间等数量词，能识别人名、地名、组织机构名等未登录词。 同时提供了Lucene、Solr、ElasticSearch插件。 分词使用方法： 1、快速体验 运行项目根目录下的脚本demo-word.bat可以快速体验分词效果 用法: command [text] [input] [output] 命令command的可选值为：demo、text、file demo text 杨尚川是APDPlat应用级产品开发平台的作者 file d:/text.txt d:/word.txt exit 2、对文本进行分词 移除停用词：List words = WordSegmenter.seg("杨尚川是APDPlat应用级产品开发平台的作者"); 保留停用词：List words = WordSegmenter.segWithStopWords("杨尚川是APDPlat应用级产品开发平台的作者"); System.out.println(words); 输出： 移除停用词：[杨尚川, apdplat, 应用级, 产品, 开发平台, 作者] 保留停用词：[杨尚川, 是, apdplat, 应用级, 产品, 开发平台, 的, 作者] 3、对文件进行分词 String input = "d:/text.txt"; String output = "d:/word.txt"; 移除停用词：WordSegmenter.seg(new File(input), new File(output)); 保留停用词：WordSegmenter.segWithStopWords(new File(input), new File(output)); 4、自定义配置文件 默认配置文件为类路径下的word.conf，打包在word-x.x.jar中 自定义配置文件为类路径下的word.local.conf，需要用户自己提供 如果自定义配置和默认配置相同，自定义配置会覆盖默认配置 配置文件编码为UTF-8 5、自定义用户词库 自定义用户词库为一个或多个文件夹或文件，可以使用绝对路径或相对路径 用户词库由多个词典文件组成，文件编码为UTF-8 词典文件的格式为文本文件，一行代表一个词 可以通过系统属性或配置文件的方式来指定路径，多个路径之间用逗号分隔开 类路径下的词典文件，需要在相对路径前加入前缀classpath: 指定方式有三种： 指定方式一，编程指定（高优先级）： WordConfTools.set("dic.path", "classpath:dic.txt，d:/custom_dic"); DictionaryFactory.reload();//更改词典路径之后，重新加载词典 指定方式二，Java虚拟机启动参数（中优先级）： java -Ddic.path=classpath:dic.txt，d:/custom_dic 指定方式三，配置文件指定（低优先级）： 使用类路径下的文件word.local.conf来指定配置信息 dic.path=classpath:dic.txt，d:/custom_dic 如未指定，则默认使用类路径下的dic.txt词典文件 6、自定义停用词词库 使用方式和自定义用户词库类似，配置项为： stopwords.path=classpath:stopwords.txt，d:/custom_stopwords_dic 7、自动检测词库变化 可以自动检测自定义用户词库和自定义停用词词库的变化 包含类路径下的文件和文件夹、非类路径下的绝对路径和相对路径 如： classpath:dic.txt，classpath:custom_dic_dir, d:/dic_more.txt，d:/DIC_DIR，D:/DIC2_DIR，my_dic_dir，my_dic_file.txt classpath:stopwords.txt，classpath:custom_stopwords_dic_dir， d:/stopwords_more.txt，d:/STOPWORDS_DIR，d:/STOPWORDS2_DIR，stopwords_dir，remove.txt 8、显式指定分词算法 对文本进行分词时，可显式指定特定的分词算法，如： WordSegmenter.seg("APDPlat应用级产品开发平台", SegmentationA
src_seg(java).rar_java 分词_中文文本分词_分词 java_分词算法
09-21
4. SmartChineseAnalyzer：基于Apache Lucene的中文分词组件，专为搜索引擎优化设计。 五、实践案例 压缩包中的`www.pudn.com.txt`可能是某个网站的文本数据，`src_seg(java)`可能包含一个分词程序的源代码。通过...
使用IK Analyzer实现中文分词之Java实现
03-29
最初，它是以开源项目Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。 从 3.0 版本开始，IK 发展为面向 Java 的公用分词组件，独立于 Lucene 项目，同时提供了对 Lucene 的默认优化实现。 在 2012...
盘古分词-开源中文分词组件词典-词典
01-29
盘古分词是一款开源的中文分词组件，其主要任务是将连续的汉字序列切分成具有语义的词语，这是自然语言处理中的基础步骤。在中文文本处理中，由于汉字没有明显的空格来划分单词，因此分词显得尤为重要。分词的准确性...
Java中文分词组件 - word分词
脚印
07-10 1295
原文：http://my.oschina.net/apdplat/blog/228619 word分词是一个Java实现的分布式的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。能准确识别英文、数字，以及日期、时间等数量词，能识别人名、地名、组织机构名等未登录词。能通过自定义配置文件来改变组件行为，能自定义用户词库、自动检测词库变化、支持大规模分布式环
一个免费的中文分词组件
10-31
一个免费的中文分词组件，我也没有实际用过，共享一下，大家如果有用的还希望能够把经验共享一下哦
中文分词开源项目 JAVA中文分词
08-15
import WordSegment.*; import java.awt.event.ActionEvent; import java.awt.event.ActionListener; import java.awt.*; import java.io.File; import java.util.Vector; import javax.swing.*; /** * */ /** * @author Truman * */ public class WordSegDemoFrame extends JFrame implements ActionListener { final static int ALGO_FMM = 1; final static int ALGO_BMM = 2; private JMenuBar menuBar = new JMenuBar(); private JMenuItem openDicItem, closeItem; private JRadioButtonMenuItem fmmItem, bmmItem; private JMenuItem openTrainFileItem, saveDicItem, aboutItem; private JButton btSeg; private JTextField tfInput; private JTextArea taOutput; private JPanel panel; JLabel infoDic, infoAlgo; private WordSegment seger; private DicTrainer trainer = new DicTrainer(); private void initFrame() { setTitle("Mini分词器"); setDefaultCloseOperation(EXIT_ON_CLOSE); setJMenuBar(menuBar); JMenu fileMenu = new JMenu("文件"); JMenu algorithmMenu = new JMenu("分词算法"); JMenu trainMenu = new JMenu("训练语料"); JMenu helpMenu = new JMenu("帮助"); openDicItem = fileMenu.add("载入词典"); fileMenu.addSeparator(); closeItem = fileMenu.add("退出"); algorithmMenu.add(fmmItem = new JRadioButtonMenuItem("正向最大匹配", true)); algorithmMenu.add(bmmItem = new JRadioButtonMenuItem("逆向最大匹配", false)); ButtonGroup algorithms = new ButtonGroup(); algorithms.add(fmmItem); algorithms.add(bmmItem); openTrainFileItem = trainMenu.add("载入并训练语料"); saveDicItem = trainMenu.add("保存词典"); aboutItem = helpMenu.add("关于Word Segment Demo"); menuBar.add(fileMenu); menuBar.add(algorithmMenu); menuBar.add(trainMenu); menuBar.add(helpMenu); openDicItem.addActionListener(this); closeItem.addActionListener(this); openTrainFileItem.addActionListener(this); saveDicItem.addActionListener(this); aboutItem.addActionListener(this); fmmItem.addActionListener(this); bmmItem.addActionListener(this); JPanel topPanel = new JPanel(); topPanel.setLayout(new FlowLayout());
Java 分词库
07-20
Java 分词库 Java 分词库 Java 分词库
中文分词组件
大伟先生
04-11 652
中英文分词组件。完全C#托管代码编写，独立开发。技术特点=========1. 识别率接近90%。虽然和专业分词系统相比有一定的差距，但对于搜索引擎等小型分词需求而言足够了。2. 多元歧义自动识别。对于前后歧义有较好的识别效果。如:长春市长春节致词 -- 长春/市长/春节/致词/长春市长春药店 -- 长春市/长春/药店3. 常用及敏感词过滤功能。通过一个简单的属性设置就可以完成针对常用词、标点和敏
中文分词组件免费版
weixin_30677073的博客
10-19 106
中英文分词组件。完全C#托管代码编写，独立开发。技术特点=========1. 识别率接近90%。虽然和专业分词系统相比有一定的差距，但对于搜索引擎等小型分词需求而言足够了。2. 多元歧义自动识别。对于前后歧义有较好的识别效果。如:长春市长春节致词 -- 长春/市长/春节/致词/长春市长春药店 -- 长春市/长春/药店3. 常用及敏感词过滤功能。通过一个简单的属性设置就可以完成针对常用词、标点和敏...
结巴分词(Python中文分词组件)
weixin_30896511的博客
08-04 106
1.安装 sudo pip install jieba 或者 下了jieba后 sudo python setup.py install 如果需要permission的话 2.使用 1. 分词 jieba.cut方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型 jieba.cut_for_search方...
java开源分词_Java开源项目cws_evaluation：中文分词器分词效果评估
weixin_36261424的博客
02-21 200
cws_evaluation 是一个Java开源项目，用于对Java中文分词器分词效果进行评估。支持的分词器有：word分词器、ansj分词器、mmseg4j分词器、ik-analyzer分词器、jcseg分词器、fudannlp分词器、paoding分词器、jieba分词器、stanford分词器等9大中文分词器。评估采用的测试文本有253 3709行，共2837 4490个字符。最好的评估结果...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值