3.4分词

最新推荐文章于 2022-05-17 23:32:57 发布

Captain_Data

最新推荐文章于 2022-05-17 23:32:57 发布

阅读量209

点赞数

分类专栏：机器学习整理No.1

本文链接：https://blog.csdn.net/Captain_DUDU/article/details/104646941

版权

机器学习整理No.1 专栏收录该内容

37 篇文章 0 订阅

订阅专栏

在这里插入图片描述
分词技术：
1.统计分词法（最好的，按词频）
a.nGram
b.隐马尔可夫，HMM
c 条件随机场

机械分词法

a正向最大分类法（从左到右）
2逆向最大匹配法（从右到左）
c：最少切分（

在这里插入图片描述

在这里插入图片描述
Tf idf 计算词的重要性

在这里插入图片描述

import jieba
import jieba.posseg as jp  #lcut  cut 分词，获取词性   i.flag 词性 ,i.word 词
#cut(字符串,cut_all=是否切出所有可能的词)  #返回一个迭代器
#lcut(字符串,cut_all=是否切出所有可能的词)  #返回一个分词列表
#cut_for_search  #相当于 cut 或 lcut 的cut_all =True , 对长词再分
#jieba.add_word(词,词频) #像字典中加入新词
#jieba.load_userdict(文本文件名) #添加字典
#文本文件 格式
    #真特刘  2000
    #你好 200
#jieba.del_word(词) #删除字典的词