轻松搞定c++语言pdf_当年锤子的大爆炸，如今12个语言版本都可轻松搞定！-CSDN博客

本文链接：https://blog.csdn.net/weixin_39737757/article/details/111374867

第011期原创分享作者:huber

大家好，我是Hub哥！又被Hub友们催更了。

这些天，刷抖音看到罗永浩老师的直播带货，发现了老罗的一些变化，头发少了几千根啊（瞎猜的），言行举止少了往日怼天怼地的犀利，没有了让人怀念的单口相声，而且好几次在直播间翻车了，不禁让我想起了当初做手机时的老罗，情怀与工匠精神，追求极致毫不妥协，每期发布会精彩的相声，金句频出流传至今…… 真是万分感概……

不知大家是否还记得，老罗当年带领的锤子科技，推出最经典的一款手机M1 ，伴随而出的系统Smartisan OS 3.1系统，其中一个主打功能，让当时发布会的观众们瞬间都沸腾了

为什么观众们都沸腾了呢？因为该功能解决了手机用户们长期的一个交互痛点：如果在一长段文字中，只需要提取其中一部分，然后再次组合编辑成一句新的句子。

用当时老罗的话说：你需要用一根胡萝卜一样的手指头，在一块小屏幕上不断重复地复制、粘贴、拖拽着一个小小的光标在文字中到处定位，这是一件让人抓狂的事！

就像下图这样：

图片来自优酷

其实这个问题是每个手机用户都感受过的，当时的老罗大发神威，指导着研发团队推出一了锤子系统的一个主打功能之一：大爆炸（Big Bang）

相信不少童鞋已经了解过大爆炸这个功能了，这里再简单描述一下：

你可在手机的任何场景下，用拇指大面积按压屏幕中的文字，“Big Bang”会将按住的那段文字全部“炸”开，智能分解、供你任意操作。

图片来自优酷

虽然已隔多年，但大爆炸在当时，那叫一个香！而其它品牌的手机用户对这个功能真是羡慕嫉妒恨，纷纷嚷嚷着让自己的手机品牌赶紧推出类似功能！

然而这样一个功能，核心技术并不在UI交互，而是幕后的分词引擎，而目前类似的分词技术不止一种，当时的老罗也决定让大爆炸这个技术开源了：

GitHub地址：

https://github.com/SmartisanTech/android

目前已经收获star2.5k

然而！！！本文主要讲的，却是另一个项目！

对不住了罗老师！

这个项目就是： 结巴中文分词（jieba）

“结巴”………这名字取的真形象。那为什么要介绍结巴，而不是大爆炸？因为结巴更通用，已经支持了12个语言版本

先来看一下该项目的基本数据：

GitHub地址：https://github.com/fxsjy/jieba

该项目主版本是以Python组件方式提供的中文分词框架，大家都知道，Python用途广泛。然而无论是前端还是后端，这个分词组件在数据分析，爬虫，搜索引擎中的关键词处理等领域都有很大帮助

接下来，一起来看看结巴中文分词的一些特征：

结巴分词的特点：

支持繁体分词
支持自定义词典
MIT 授权协议
支持4种分词模式

4种分词模式：

精确模式，试图将句子最精确地切开，适合文本分析；
全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
paddle模式，利用Paddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。同时支持词性标注。paddle模式使用需安装paddlepaddle-tiny，pip install paddlepaddle-tiny==1.6.1。目前paddle模式支持jieba v0.40及以上版本。jieba v0.40以下版本，请升级jieba，pip install jieba --upgrade 。

算法：

基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)
采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
对于未登录词，采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法

来看一个示例：

# encoding=utf-8
import jieba

jieba.enable_paddle()# 启动paddle模式。0.40版之后开始支持，早期版本不支持
strs=["我来到北京清华大学","乒乓球拍卖完了","中国科学技术大学"]
for str in strs:
    seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式
    print("Paddle Mode: " + '/'.join(list(seg_list)))

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print(", ".join(seg_list))

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式
print(", ".join(seg_list))

上面代码输出结果：

【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

【精确模式】: 我/ 来到/ 北京/ 清华大学

【新词识别】：他, 来到, 了, 网易, 杭研, 大厦    (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)

【搜索引擎模式】：小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

语言版本

令人鸡冻的是，结巴这个项目中，已经有多位作者贡献出了各种语言的版本，因此大多出开发者都可以简单快速地使用这个项目了：

结巴分词 Java 版本

作者：piaolingxue

地址：https://github.com/huaban/jieba-analysis

结巴分词 C++ 版本

作者：yanyiwu

地址：https://github.com/yanyiwu/cppjieba

结巴分词 Rust 版本

作者：messense, MnO2

地址：https://github.com/messense/jieba-rs

结巴分词 Node.js 版本