assasin浅说结巴分词

最新推荐文章于 2020-02-19 17:12:49 发布

assasinSteven

最新推荐文章于 2020-02-19 17:12:49 发布

阅读量265

点赞数

分类专栏： python 文章标签：结巴分词

本文链接：https://blog.csdn.net/assasin0308/article/details/103812504

版权

python 专栏收录该内容

16 篇文章 0 订阅

订阅专栏

上菜!

# -*- coding: utf-8 -*-
#-----------------------------------------------------------------------------------------------------------------------
__Author__ = 'assasin'
__DateTime__ = '2020/1/1 20:31'
#-----------------------------------------------------------------------------------------------------------------------
'''
结巴分词的三种模式:
    精确模式: 试图将句子最精确的分开,适合文本分析;
    全模式:把句子中所有的可以成词的词语都扫描出来;但不能解决歧义问题
    搜索引擎模式:在精确模式的基础上,对长分词再次切分,提高召回率,
    适合于搜索引擎分词
支持繁体分词
支持自定义分词

安装: pip install jieba 

核心算法:基于前缀词典实现高效的词图扫描,生成句子中汉字
所有可能成词情况所构成的有向无环图
采用了动态规划查找最大概率路径,找出基于词频的最大切分组合
对于未登录词,采用了基于汉字成词能力的HMM模型,使用 Viterbi 算法
'''

import jieba,sys,os
import jieba.analyse
import jieba.posseg



seg_list = jieba.cut('我来到北京的北京大学',cut_all=True)
print('full cut :' + ','.join(seg_list))

seg_list = jieba.cut('我来到北京的北京大学',cut_all=False)
print('default cut mode :' + ','.join(seg_list))

seg_list = jieba.cut_for_search('我来到北京的北京大学',HMM=False)
print('搜索引擎 mode :' + ','.join(seg_list))

print('='*40)
print('2.天假自定义词典/调整词典')
print('-'*40)

# 拆分
print('源文档: \t' + '/'.join(jieba.cut('如果放到数据库中将出错',HMM=False)))
print(jieba.suggest_freq(('中','将'),True))
print('改进文档: \t' + '/'.join(jieba.cut('如果放到数据库中将出错',HMM=False)))

# 合并
print('源文档: \t' + '/'.join(jieba.cut('[台中]正确应该不会被切开')))
print(jieba.suggest_freq(('台中'),True))
print('改进文档: \t' + '/'.join(jieba.cut('[台中]正确应该不会被切开')))


# 自定义词典
# sys.path.append("../")
# jieba.load_userdict("../utils/user-dict.txt")


print('='*40)
print('3.关键词提取')
print('-'*40)
print(' TF-TDF')
print('-'*40)

'''
extract_tags(sentence,topK=20,withWeight=False,allowPOS=())
sentence 为待提取的文本
topK 为返回几个 TF/IDF 权重最大的关键词 默认为20
withWeight 是否一并返回关键词权重 默认FALSE
allowPOS 仅包括指定词性的词,默认为空,即不帅选
jieba.analyse.TFIDF(idf_path=None) 新建TFIDF实例,idf_path是TFIDF


'''
str = '正如专家们所言，渲染所谓的“中国黑客”威胁只不过是美国将其强化网络攻击能力“正当化”的借口。' \
      '事实上，美国构建网络攻击力量的历史远远超过外界的想象，甚至在“中国黑客”这个词语出现之前，' \
      '美国就将网络战运用到实战中了。1991年海湾战争中，美国通过情报系统，' \
      '在伊拉克从法国购买的防空系统中植入电脑病毒，在美军空袭前用遥控手段激活这些病毒，' \
      '导致美空军飞临巴格达上空时，伊拉克防空系统已经瘫痪。在“网络战”方面，' \
      '美国军方显然已经走在了理论研究的前面。1993年，美国兰德公司的两位学者才首次提出“网络战”的概念，' \
      '这两位学者从理论上界定了何为“网络战”，也系统介绍了如何利用网络“干扰、破坏敌方的信息和通讯系统”' \
      '，如何“在阻止敌方获取自己信息的同时，尽量多的掌握对方信息。'
for x,w in jieba.analyse.extract_tags(str,10,withWeight=True):
    print('%s %s'%(x,w))


print('='*40)
print(' textRank 文本排名')
print('-'*40)

for x,w in jieba.analyse.textrank(str,10,withWeight=True):
    print('%s %s'%(x,w))


print('='*40)
print(' 词性标注')
print('-'*40)

words = jieba.posseg.cut('我爱北京天安门')
for word,flag in words:
    print('%s %s' % (word, flag))


print('='*40)
print(' Tokenizw 返回词语在原文的起止位置')
print('-'*40)
print('默认模式')
print('-'*40)
# 包括起始位置 但不包括结束位置
result = jieba.tokenize('永和服饰品有限公司')
for tk in result:
    print('word %s\t\t start:%d\t\t end:%d\t\t'%(tk[0],tk[1],tk[2]))

print('='*40)
print(' 搜索模式')
print('-'*40)
result = jieba.tokenize('永和服饰品有限公司',mode='search')
for tk in result:
    print('word %s\t\t start:%d\t\t end:%d\t\t'%(tk[0],tk[1],tk[2]))