机器学习笔记二十四 中文分词资料整理

最新推荐文章于 2023-12-19 13:52:23 发布
最新推荐文章于 2023-12-19 13:52:23 发布
阅读量4k 收藏 14
点赞数 3
分类专栏： # 机器学习 文章标签： 机器学习 动态规划 算法 索引 结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xundh/article/details/75106523
版权

一、常见的中文分词方案

1. 基于字符串匹配（词典）

基于规则的常见的就是最大正/反向匹配，以及双向匹配。
规则里糅合一定的统计规则，会采用动态规划计算最大的概率路径的分词.
以上说起来很简单，其中还有很多细节，比如词法规则的高效匹配编译，词库的索引结构等。
常见的基于词典的分词算法分为以下几种：正向最大匹配法、逆向最大匹配法和双向匹配分词法等。

2. 基于统计以及机器学习的分词

以CRF为主，也有用svm，nn的实现，这类都是基于模型的，，都有个缺陷，不方便增加用户词典（但可以结合，比如解码的时候force-decode）。 速度上会有损耗。 另外都需要提取特征。传统CRF一般是定义特征模板，方便性上有所提高。另外传统CRF训练算法(LBFGS)较慢，也有使用sgd的，但多线程都支持的不好。代表有crf++, crfsuite, crfsgd, wapiti等。

这类目前常用的是算法是HMM、CRF、SVM、深度学习等算法，比如stanford、Hanlp分词工具是基于CRF算法。以CRF为例，基本思路是对汉字进行标注训练，不仅考虑了词语出现的频率，还考虑上下文，具备较好的学习能力，因此其对歧义词和未登录词的识别都具有良好的效果。

常见的分词器都是使用机器学习算法和词典相结合，一方面能够提高分词准确率，另一方面能够改善领域适应性。

3. 深度学习方法

深度学习主要是特征学习，端到端训练， 适合有大量语料的场景。另外各种工具越来越完善，利用GPU可大幅提高训练速度。

深度学习主要是特征学习，在NLP里各种词嵌入是一种有效的特征学习。

二、 一些实现

1. ikanalyzer

https://github.com/wks/ik-analyzer
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的 IKAnalyzer3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

2. mmseg

http://technology.chtsai.org/mmseg/

3. CRF方法

https://nlp.stanford.edu/software/segmenter.shtml

4. 结巴分词

https://github.com/fxsjy/jieba
https://github.com/yanyiwu/cppjieba
基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)；采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合；对于未登录词，采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法。

5. 中科院分词系统

http://ictclas.nlpir.org/nlpir/
中国科学院计算技术研究所在多年研究工作积累的基础上，研制出了汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，主要功能包括中文分词；词性标注；命名实体识别；新词识别；同时支持用户词典。先后精心打造五年，内核升级6次，目前已经升级到了ICTCLAS3.0。ICTCLAS3.0分词速度单机996KB/s，分词精度98.45%，API不超过200KB，各种词典数据压缩后不到3M，是当前世界上最好的汉语词法分析器。

6. smallseg

7. snailseg

8. THULAC

http://thulac.thunlp.org/
在线测试：
http://thulac.thunlp.org/demo

THULAC（THU Lexical Analyzer for Chinese）由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包，具有中文分词和词性标注功能。THULAC具有如下几个特点：

能力强。利用我们集成的目前世界上规模最大的人工分词和词性标注中文语料库（约含5800万字）训练而成，模型标注能力强大。

准确率高。该工具包在标准数据集Chinese Treebank（CTB5）上分词的F1值可达97.3％，词性标注的F1值可达到92.9％，与该数据集上最好方法效果相当。

速度较快。同时进行分词和词性标注速度为300KB/s，每秒可处理约15万字。只进行分词速度可达到1.3MB/s。

代码开源，目前 Java、Python和C++版本。

9. Stanford Word Segmenter

https://nlp.stanford.edu/software/segmenter.shtml
Java实现的CRF算法。可以直接使用训练好的模型，也提供训练模型接口。

10. ansj分词器

11. Hanlp分词

https://github.com/hankcs/HanLP
HanLP是由一系列模型与算法组成的Java工具包，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

  • 中文分词
  • 最短路分词
  • N-最短路分词
  • CRF分词
  • 索引分词
  • 极速词典分词
  • 用户自定义词典
  • 词性标注
  • 命名实体识别
  • 中国人名识别
  • 音译人名识别
  • 日本人名识别
  • 地名识别
  • 实体机构名识别
  • 关键词提取
  • extRank关键词提
  • 自动摘要
  • TextRank自动摘要
  • 短语提取
  • 基于互信息和左右信息熵的短语提取
  • 拼音转换
  • 多音字
  • 声母
  • 韵母
  • 声调
  • 简繁转换
  • 繁体中文分词
  • 简繁分歧词（简体、繁体、臺灣正體、香港繁體）
  • 文本推荐
  • 语义推荐
  • 拼音推荐
  • 字词推荐
  • 依存句法分析
  • 基于神经网络的高性能依存句法分析器
  • MaxEnt依存句法分析
  • CRF依存句法分析
  • 语料库工具
  • 分词语料预处理
  • 词频词性词典制作
  • iGram统计
  • 词共现统计
  • CoNLL语料预处理
  • CoNLL UA/LA/DA评测工具
    在提供丰富功能的同时，HanLP内部模块坚持低耦合、模型坚持惰性加载、服务坚持静态提供、词典坚持明文发布，使用非常方便，同时自带一些语料处理工具，帮助用户训练自己的模型。

12. KCWS分词器(字嵌入+Bi-LSTM+CRF)

https://github.com/koth/kcws
使用tensorflow

13. ZPar

https://github.com/frcchang/zpar

14. 盘古分词组件

http://pangusegment.codeplex.com/

15. SCWS

http://www.xunsearch.com/scws/
SCWS 是 Simple Chinese Word Segmentation 的首字母缩写（即：简易中文分词系统）。

这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。 词是中文的最小语素单位，但在书写时并不像英语会在词之间用空格分开， 所以如何准确并快速分词一直是中文分词的攻关难点。

SCWS 采用纯 C 语言开发，不依赖任何外部库函数，可直接使用动态链接库嵌入应用程序， 支持的中文编码包括 GBK、UTF-8 等。此外还提供了 PHP 扩展模块， 可在 PHP 中快速而方便地使用分词功能。

分词算法上并无太多创新成分，采用的是自己采集的词频词典，并辅以一定的专有名称，人名，地名， 数字年代等规则识别来达到基本分词，经小范围测试准确率在 90% ~ 95% 之间， 基本上能满足一些小型搜索引擎、关键字提取等场合运用。首次雏形版本发布于 2005 年底。

SCWS 由 hightman 开发， 并以 BSD 许可协议开源发布，源码托管在 github。

16. HTTPCWS

中文切词(又称中文分词，Chinese Word Segmentation)指的是将一个汉字序列切分成一个一个单独的词。中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果。这种方法又叫做机械分词方法，它是按照一定的策略将待分析的汉字串与一个 “充分大的”机器词典中的词条进行配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。

17. 庖丁解牛分词器

庖丁解牛分词器是基于lucene的中文分词系统的软件。 庖丁解牛分词器是基于lucene的中文分词系统的软件。
仅支持Java，且提供lucence接口。

18. CC-CEDICT

提供一份以汉语拼音为中文辅助的汉英辞典，其词典可以用于中文分词。Chrome中文版就是使用这个词典进行中文分词的。

三、 公开数据集

1. SIGHAN Bakeoff 2005

http://sighan.cs.uchicago.edu/bakeoff2005/

2. 人民日报 2014, 65MB

https://pan.baidu.com/s/1hq3KKXe

本文参考：
https://www.zhihu.com/question/19578687

编程圈子
关注
专栏目录
[网络安全自学篇] 二十三.基于机器学习的恶意请求识别及安全领域中的机器学习
杨秀璋的专栏
11-01 1万+
这是作者的系列网络安全自学教程，主要是关于网安工具和实践操作的在线笔记，特分享出来与博友共勉，希望您们喜欢，一起进步。前文分享了Web渗透的第一步工作，涉及网站信息、域名信息、端口信息、敏感信息及指纹信息收集。这篇文章换个口味，将分享机器学习在安全领域的应用，并复现一个基于机器学习（逻辑回归）的恶意请求识别。
机器学习sklearn中文分词
03-02
机器学习sklearn中文分词学习记录
机器学习——基于HMM的中文分词
hei653779919的博客
02-22 759
机器学习——基于HMM的中文分词 1、代码展示 #encoding=utf-8 ''' B表示词汇的开始 M表示词汇的中间 E表示词汇的尾部 S表示词汇单独成词 ''' class HMM(object): def __init__(self): self.states = ['B','M','E','S'] self.load_para = False ...
中文分词学习版
10-11
此为学习版，请勿用于商业用途或扩散。 以下描述转至互联网。 ============== 一、CSW中分词组件简介 CSW中文分词组件，是一套可自动将一段文本按常规汉语词组进行拆分，并以指定方式进行分隔的COM组件。本组件采用独有的高效的分词引擎及拆分算法，具有准确、高速、资源占用率小等特点。为了满足客户对文本语义进行研究分析的需要，本组件同时提供词性及词频标注功能，可根据用户要求，对其拆分后的词组进行词性标注或词频标注。互联网信息检索、数据库信息查询、智能聊天机器人、文本校对、自动翻译、 自动摘要、自动分类及信息加工处理等各个领域。 二、本组件特点： 1．适应性强 本组全部件采用ANSI标准C++开发，可广泛应用于当今的操作系统平台上，如：MS Windows、Linux及其它各公司出品的Unix操作系统。 2. 支持范围广 在MS Windows平台下，本组件以COM接口的DLL格式进行封装，可支持所有支持COM接口调用的编程语言及脚本语言。如：PHP、JSP、ASP、ASP.net、C/C++ 、VC6.0 、VC.net、BC、C#、VB6.0 、VB.net、Delphi、Java等。 3. 响应速度快 由于本组件采用高效特殊的算法引擎结构，每秒钟拆分可达数万字汉语文本，在对搜索关键词进行拆分情况下，其响应时间均在数毫秒之内，为搜索提供强劲动力。 4. 词组识别准确率高 采用特殊的词组拆分识别算法，可有效消除汉语词组中汉语歧义，并可识别各个行业内的特殊用语、专用词汇、公司名、地名等，并具有汉语成语、汉语短语识别功能。如：'醉翁之意不在酒'。经长期使用及大量文本测试其准确率可达到92%以上。 5. 拆分覆盖面广 含盖了IT、化工、金融、贸易、纺织、电子、制造、冶金等各行各业以及日常生活用语中的汉语词组。 6. 提供词组自定义功能 可根据用户需要自行添加汉语词组，并提单个汉字添加或从文件批量添加功能。 7．特殊字符过滤功能 可根据用户需要自行定义影响检索结果的不必要的字符。如：! % *等。 9. 具有英文分词识别功能。 本组件同时具有英文单词的分词识别功能。 10. 词性标注功能。(限企业A版) 词性：即词组在汉语语言中所表述的性质。如：计算机 /名词; 中国 / 名词，方位词 此功能可对拆分出的汉语词组进行词性标注，辅以开发人员理解分析文本序列中所包含的语义或意图。其广泛应用于互联网信息搜索以提高搜索精度、智能聊天机器人理解对方话语的含义等领域。整个分词标注以北京大学词性标注集为标准。(详细可参见词性标注表) 11. 词频标注功能。(限企业B版) 词频：即词组在广域的所有汉语词组中出现的相对频率值。 此功能可对拆分出的汉语词组进行词频标识。为开发人员在对搜索关键词的理解分析上提供有效的参考，以提高检索精度。整个词频标识是以各大报刊媒体文章为基础，经过精心的统计分析制作而成，具有相当的参考价值。 三、在线演示/免费下载 在线演示：http://61.129.81.124/csw/csw50.asp 四、各语言调用示例代码 参数一：InputString[string类型] 需进行分词的原始文本 参数二：OutputType[int整型] 输出类型 (0 标准分词输出, 1 附带词性输出, 2 附带词频输出) 参数三：DllPath[string类型] 本组件在系统中的完整路径 返回：OutputString[string类型] 输出分词后的文本序列 1. C#调用示例代码 首先运行本组件包中的install.bat文件，在系统中注册本组件。 然后在开发工具中引用CSW.dll组件 //以下为C#控制台应用程序中调用本组件示例代码. CSWLib.SplitWordClass csw = new CSWLib.SplitWordClass(); string text = csw.Split('待拆分原始文本',0,@'c:winntsystem'); Console.WriteLine(text); Console.ReadLine(); //暂停，查看输出 访问官方网站获得更多代码示例。
机器学习笔记二十五 中文分词结巴试用
编程圈子-谢厂节的博客
11-14 504
本文学习资源来自《机器学习实践指南》下载网址： https://pypi.python.org/pypi/jieba 下载后的代码里有大量测试代码，进入test即可运行测试代码：测试代码#-*- coding: utf-8 -*- import sys sys.path.append("../") import jieba seg_list = jieba.cut("我第一次来到中国",cut_
机器学习——中文分词
qq_41566819的博客
12-19 1254
中文分词是指将汉字序列按照一定规则逐个切分为词序列的过程。在英文中，单词间以空格为自然分隔符，分词时自然以空格为单位进行切分，而中文分词则需要依靠技术和方法寻找类似英文中空格作用的分隔符。
机器学习的笔记，可以保存下来观看
08-31
机器学习笔记 机器学习是人工智能的一个子领域，涉及到计算机科学、数学、统计学、信息论、神经生理学等多个领域。机器学习的主要任务是使机器能够自动地学习和改进其性能。 在机器学习中，存在两种基本的学习方式...
python，机器学习笔记，machine learning，nlp.zip
最新发布
02-21
二、机器学习概论 机器学习是人工智能的一个分支，通过让计算机从数据中学习，实现自我改进和预测。主要分为监督学习、无监督学习和半监督学习三大类。监督学习包括线性回归、逻辑回归、决策树、随机森林、支持向量...
人工智能、机器学习、深度学习从入门到进阶学习资料整理
the_cleaner的博客
04-01 829
AI方面的学习资料，包含了学习社区、入门教程、汲取学习、深度学习、自然语言处理、计算机视觉、数据分析、面试和书籍等方面的知识。
学习笔记-序列标注的分词方法
weixin_44358484的博客
04-01 1656
1、序列标注任务 1.1和分类任务的区别：分类任务单标签、序列标注是分类任务在序列数据上的延伸 1.2用序列标注表示分词 分词前：昨天，小明在北京大学的燕园看了中国男篮的一场比赛 分词后：昨天 ， 小明 在 北京大学 的 燕园 看 了 中国男篮 的 一场 比赛 B表示一个词的开始；M表示中间位置；E表示一个词的结尾，S表示单个词 1.3序列标注的演化 HMM----> CRF-----> BiLSTM-CRF-----> BERT-CRF 特征提取逐渐变..
一种基于N-gram模型和机器学习的汉语分词算法
12-26
一种基于N-gram模型和机器学习的汉语分词算法，不错的分词算法。
Python Jieba中文分词工具实现分词功能
03-10
Python Jieba中文分词工具实现分词功能，Python Jieba中文分词工具实现分词功能
自然语言处理系列十二》中文分词》机器学习统计分词
weixin_52610848的博客
02-03 407
此文章有对应的陈敬雷老师的清华大学出版社配套书籍教材 【自然语言处理原理与实战（人工智能科学与技术丛书）】 https://item.jd.com/13951851.html 和【分布式机器学习实战（人工智能科学与技术丛书）】，对应京东自营链接地址： https://item.jd.com/12743009.html
python机器学习——分词
weixin_30642305的博客
06-02 145
使用jieba库进行分词 安装jieba就不说了，自行百度！ import jieba 将标题分词，并转为list seg_list = list(jieba.cut(result.get("title"), cut_all=False)) 所有标题使用空格连接，方便后面做自然语言处理 para = para + " ".join(seg_list) 将分词后...
python机器学习库教程——结巴中文分词
热门推荐
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
12-09 1万+
全栈工程师开发手册 （作者：栾鹏） python教程全解 结巴中文分词安装：pip install jieba特点：支持三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析； 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。 支持繁体分词 支持自定义词典
机器学习基础——一文讲懂中文分词算法
TechFlow的博客
01-01 1403
在前文当中，我们介绍了搜索引擎的大致原理。有错过或者不熟悉的同学，可以点击下方的链接回顾一下前文的内容。 ML基础——搜索引擎基本原理 在介绍爬虫部分的时候，我们知道，爬虫在爬取到网页的内容之后，会先进行一些处理。首先要做的就是过滤掉HTML当中的各种标签信息，只保留最原生的网页内容。之后，程序会对这些文本内容提取关键词。 今天我们就来讲讲关键词提取当中最重要的一个部分——中文分词。 在世界上众...
自然语言处理分词汇总和相关机器学习
lb521200200的专栏
11-02 6512
中科院NLPIR（推荐） http://ictclas.nlpir.org/ 原名ICTCLAS，是由中科院计算所历经数年开发的分词工具，采用C++编写。 主要功能包括分词、词性标注、命名实体识别、用户词典功能，新词发现与关键词提取。 可以可视化界面操作和API方式调用。 哈工大LTP（推荐） http://www.ltp-cloud.com/ 语言技术平台（LTP）是哈工大社会计算
自然语言处理系列十四》中文分词》机器学习统计分词》感知器分词
weixin_52610848的博客
02-03 647
此文章有对应的有陈敬雷老师的清华大学出版社配套书籍教材 【自然语言处理原理与实战（人工智能科学与技术丛书）】 https://item.jd.com/13951851.html 和【分布式机器学习实战（人工智能科学与技术丛书）】，对应京东自营链接地址： https://item.jd.com/12743009.html
机器学习算法原理与编程实现中文文本分词1
yanink的博客
04-20 1434
1 先安装lxml库   E:\机器学习项目\机器学习\MLBook\chapter02>pip install lxml-3.7.3-cp27-none-win_amd64.whl 2 执行测试程序   E:\机器学习项目\机器学习\MLBook\chapter02>python html2txt_test.py    3 测试中出现编码转化错误，修改代码最后一
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

编程圈子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值