共有11款Python 中文分词库开源软件

件过滤:

排序: 收录时间 | 浏览数
  • Python 中文分词库 Yaha

    "哑哈"中文分词,更快或更准确,由你来定义。通过简单定制,让分词模块更适用于你的需求。 "Yaha" You can custom your Chinese Word Segmentation efficiently by using Yaha 基本功能: 精确模式,将句子切成最合理的词。 全模式,所有的可能词都被切成词... 更多Yaha信息

  • Python中文分词组件 jieba

    jieba "结巴"中文分词:做最好的Python中文分词组件 "Jieba"  Feature 支持三种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析; 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义; 搜索引擎模式,在精确模式... 更多jieba信息

    最近更新: 结巴分词 0.34 发布,Python 中文分词组件 发布于 1年前

  • 中文分词工具包 smallseg

    smallseg -- 开源的,基于DFA的轻量级的中文分词工具包 特点:可自定义词典、切割后返回登录词列表和未登录词列表、有一定的新词识别能力。 Python 示例代码: s3 = file("text.txt").read() words = [x.rstrip() for x in file("main.dic") ] from small... 更多smallseg信息

  • 基于HMM模型的中文分词 finalseg

    finalseg -> Chinese Words Segment Library in Python based on HMM Model 基于HMM模型的中文分词 用法 将finalseg目录放置于当前目录或者site-packages目录 import finalseg 代码示例 import finalseg sentence_list = [ "姚晨和老凌离婚了", "他说的确... 更多finalseg信息

    最近更新: python中文分词库finalseg已经进入pypi仓库 发布于 3年前

  • genius中文分词

    Genius Genius是一个开源的python中文分词组件,采用 CRF(Conditional Random Field)条件随机场算法。 Feature 支持python2.x、python3.x以及pypy2.x。 支持简单的pinyin分词 支持用户自定义break 支持用户自定义合并词典 支持词性标注 Source Install 安装... 更多genius中文分词信息

    最近更新: Genius 分词 3.1.6 版本发布 发布于 1年前

  • 中文文本关键词和摘要提取库 TextRank4ZH

    TextRank4ZH 用于自动从中文文本中提取关键词和摘要,基于 TextRank 算法,使用 Python 编写。 TextRank 算法可以用来从文本中提取关键词和摘要(重要的句子)。TextRank4ZH是针对中文文本的TextRank算法的python算法实现。 安装 本程序使用python 2.7测试... 更多TextRank4ZH信息

  • 短文本分类工具 TextGrocery

    TextGrocery 是一个基于SVM算法的短文本分类工具,内置了结巴分词,让文本分类变得简单。 示例代码: >>> from tgrocery import Grocery # 新开张一个杂货铺,别忘了取名! >>> grocery = Grocery('sample') # 训练文本可以用列表传入 >>> train_src = [ ... 更多TextGrocery信息

  • NLPIR的Python封装 python-nlpir

    python-nlpir是NLPIR的一个python封装。NLPIR是目前运用最为广泛的中文分词工具。目前该软件支持Windows和Linux。 更多python-nlpir信息

  • Python 中文分词库 snailseg

    snailseg Chinese Words Segment Library in Python 简单的中文分词库 在线分词效果展示 https://snailsegdemo.appspot.com/ Usage 将snailseg目录放置于当前目录或者site-packages目录 import snailseg 代码示例 import snailseg words = snailseg.cut("... 更多snailseg信息

  • Python中文分词 scseg

    scseg中文分词,是基于mmseg的简单分词组件 Feature 支持pinyin分词 支持用户自定义词典 支持单位合并 支持汉字数字识别 Install pip install scseg 通过import scseg来引用 Algorithm 采用mmseg算法进行切分 采用规则方式支持中文数字分词 功能 1):分词s... 更多scseg信息

  • ChineseWordSegmentation

    这是一个简单的中文分词程序,可以在没有语料库的情况下通过各个词语的相关度将中文词汇抽取出来 具体的理论可以参看Matrix67的博客文章: http://www.matrix67.com/blog/archives/5044  我只是把这个算法进行了实现而已。  该程序写得比较着急,还有很多... 更多ChineseWordSegmentation信息

转载于:https://www.cnblogs.com/qqhfeng/p/5321949.html

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
"哑哈"中文分词,更快或更准确,由你来定义。通过简单定制,让分词模块更适用于你的需求。 "Yaha" You can custom your Chinese Word Segmentation efficiently by using Yaha 基本功能: 精确模式,将句子切成最合理的词。 全模式,所有的可能词都被切成词,不消除歧义。 搜索引擎模式,在精确的基础上再次驿长词进行切分,提高召回率,适合搜索引擎创建索引。 备选路径,可生成最好的多条切词路径,可在此基础上根据其它信息得到更精确的分词模式。 可用插件: 正则表达式插件 人名前缀插件 地名后缀插件 定制功能。分词过程产生4种阶段,每个阶段都可以加入个人的定制。 附加功能: 新词学习功能。通过输入大段文字,学习到此内容产生的新老词语。 获取大段文本的关键字。 获取大段文本的摘要。 支持用户自定义词典 Algorithm 核心是基于查找句子的最大概率路径来进行分词。 保证效率的基础上,对分词的各个阶段进行定义,方便用户添加属于自己的分词方法(默认有正则,前缀名字与后缀地名)。 用户可自定义使用动态规划或Dijdstra算法得到最优的一条或多条路径,再次可根据词性(中科大ictclas的作法)等其它信息得获得最优路径。 使用“最大熵”算法来实现对大文本的新词发现能力,很适合使用它来创建自定义词典,或在SNS等场合进行数据挖掘的工作。 相比已存在的结巴分词,去掉了很消耗内存的Trie树结构,以及新词发现能力并不强的HMM模型(未来此模型可能当成一个备选插件加入到此模块)。 目前状态 以上提到的核心部分以及基础功能都已得到实现。不过一些细节正在实现当中,目前还未发布版本。 一些片段的代码可以从我的代码分享得到:http://www.oschina.net/code/list_by_user?id=1180874 标签:Yaha  中文分词
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值