常见的三种分词工具

本文介绍了三种常见的中文分词工具:jieba分词的全模式、精确模式、搜索模式以及词性标注、词频统计、关键词抽取;ltp分词的分句、词性标注、实体关系抽取和句法分析;ir分词的基本用法和关键词权值计算。
摘要由CSDN通过智能技术生成

常见的三种分词工具

这节课主要讲了三种常见的分词工具:

  1. jieba分词
  2. ltp分词
  3. ir分词

一、 分词的概念:
中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。
二、 中文分词工具

  1. jieba分词:比较常用,用法比较简单,主要有三种分词模式
  1. python安装jieba:pip install jieba/在settings里直接搜索jieba安装即可
  2. jieba的使用:import jieba
  3. jieba分词三种模式:
    a) 全模式:把句子中所有的可以成词的词语都扫描出来
    代码实现:sentence_=” 一切都像刚睡醒的样子,欣欣然张开了眼。山朗润起来了,水涨起来了,太阳的脸红起来了。”
    cut_all = jieba.cut(sentence_,cut_all=True)
    b) 精确模式:试图将句子最精确地切开(jieba默认模式)
    代码实现:cut_all = jieba.cut(sentence_)
    c) 搜索模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词
    代码实现:cut_search = jieba.cut_for_search(sentence_)
    测试结果:
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值