开源：云寻觅中文分词 (Yunxunmi Chinese Word Segmentation) ，词汇440万，10万字文章分词并计算频率不超过1秒

最新推荐文章于 2021-08-13 00:40:16 发布
VIP文章 最新推荐文章于 2021-08-13 00:40:16 发布
阅读量2.7k 收藏 4
点赞数 1
分类专栏： 中英文混合分词 分词 开源 文章标签： 云寻觅中文分词 云寻觅 中文分词 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tengyunjiawu_com/article/details/8837551
版权
开源：云寻觅中文分词 (Yunxunmi Chinese Word Segmentation) ，词汇440万，10万字文章分词并计算频率不超过1秒

云寻觅中文分词 (Yunxunmi Chinese Word Segmentation) 指的是将一个汉字序列切成一个一个单独的词。云寻觅中文分词就是将连续的字序列按照一定的规范重新组合成词序列的 过程。中文分词也是搜索引擎最核心的技术包括(全文索引，检索，排序权重计算，文本分类，聚类)，因此，中文分词的准确性和高效性将直接决定一个搜索引擎的好坏，目前很多搜索引擎包括谷歌对中国各地的方言几乎无法识别，直接导致搜索结果漏洞百出，正是基于上述原因，本人不辞辛苦开发出云寻觅中文分词并开源，希望更多的有识之士从中受益。
云寻觅中文分词词库共有 5个,分别是
ciku860000.dat  共有86万左右的常用中文词汇
最低0.47元/天 解锁文章
云寻觅
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
jiebaR中文分词，并做词云（R语言）
Bgods
10-16 2万+
使用结巴中文分词（jiebaR）对之前爬取的新浪新闻 文本进行分词，统计词频之后，使用包wordcloud画词云。1、读入数据以下数据是在这里爬取的，这里只对社会新闻类进行测试，文件还是比较大的。分词完有一千多万个词，处理完后有将近30万。library(jiebaR) library(wordcloud)#读入数据分隔符是‘\n’，字符编码是‘UTF-8’，what=''表示以字符串类型读入 f
python--中文分词与词云制作--入门笔记（附停用词库及Mac字体资源）
weixin_39982225的博客
12-30 2550
这里写自定义目录标题一、中文分词基本说明二、停用词库、自定义词典的使用（一）停用词（二）自定义词典三、词云绘制四、中文字体的使用说明（一）Mac 字体使用说明五、附件（一）ttf字体文件资源（二）停用词库
python实现分词和词云制作
积小流成江河
08-13 3412
python实现分词和词云一、下载wordcloud安装二、wordcloud的使用2.1 分词2.2 制作词云2.3 运行输出三、踩坑记录 制作词云的目的是找出物联网专业职位所需技能的关键词，首先爬去了boss直聘和智联招聘上的物联网专业职位的技术要求，爬取方法参考链接。 一、下载wordcloud安装 下载链接,根据系统类型和python版本选择下载合适的wordcloud版本 安装命令： pip install wordcloud-1.8.1-cp36-cp36m-win_amd64.whl 二、wo
使用Python做中文分词和绘制词云
QY'UniverseSpace的博客
02-07 1367
使用Python做中文分词和绘制词云 李小璐出轨云词图 作为一门编程语言，Python的编写简单，支持库强大，应用场景多，越来越多的人开始将它作为自己的编程入门语言。 Python一个比较重要的场景是做舆情分析，比如分析社交网络上群众对某一话题的态度，分析股民的情绪作为投资参考等。最近笔者也做了一些舆情分析（八卦）方面的工作，一个完整的分析流程包括： 数据获取：使用爬虫在相关网站上获取文本内容 数据清洗：按一定格式对文本数据进行清洗和提取（文本分类，贴标签） 数据呈现：多维度呈现和解读数据（
中文词库素材词汇量超过10万+语料库
03-19
中文词库素材词汇量超过10万+语料库，语料库包含200个已分类的语料。是以前做分本分类搜集来的，供从事这方面的朋友学习借鉴
Chinese-Word-Segmentation:一个中文分词系统
05-03
Chinese-Word-Segmentation 一个中文分词系统 ##展示效果截图
Chinese-word-segmentation:通过Python完成中文分词
05-10
中文分词通过Python完成基于MM（最大匹配）和RMM（反向最大匹配）的中文分词。第0部分说明第1部分类说明步骤1。 （CLASS class_import_words_2_db.py） 将搜狗的单元格词库和现代汉语词典中的单词数据导入数据库“ ...
Chinese-Word-Vectors:100+ Chinese Word Vectors 上百种预训练中文词向量
05-10
中文单词向量 该项目提供了100多个中文单词向量（嵌入），它们经过不同表示（密集和稀疏），上下文特征（单词，ngram，字符等）和语料库的训练。 可以轻松获得具有不同属性的预训练向量，并将其用于下游任务。 此外...
thulac4j:Chinese Word Segmentation Tool, THULAC的Java实现
05-15
thulac4jthulac4j是的高效Java 8实现，具有分词速度快、准、强的特点；支持自定义词典繁体转简体停用词过滤使用示例在项目中使用thulac4j，添加依赖（请使用最新版本）：<dependency> <groupId>io.github.yizhiru...
麻将：开源中文分词工具包，中文分词Web API，Lucene中文分词，中英文混合分词
02-05
汉字的组合也是变化多端，麻将这个项目希望能从汉字组合中发现汉语的秘密，为自然语言处理提供好的中文分词工具。 麻将是基于Scala的语言实现的中文分词软件包。这个项目的核心是最大概率分词，整个项目专为搜索...
中文分词原理及工具
华为云官方博客
07-04 2282
【摘要】 中文分词，即 Chinese Word Segmentation，即将一个汉字序列进行切分，得到一个个单独的词。表面上看，分词其实就是那么回事，但分词效果好不好对信息检索、实验结果还是有很大影响的，同时分词的背后其实是涉及各种各样的算法的。 原理 中文分词，即 Chinese Word Segmentation，即将一个汉字序列进行切分，得到一个个单独的词。表面上看，分词其实就是那么...
关于几十万词汇量词典检索的讨论，希望大家见仁见智，帮我提出些意见吧！...
tomythliu的博客
12-21 217
目前YourDict词典程序大部分工作已经完成，英文检索速度小于1s，还算可以能接受，但汉语词典检索成了一个问题，汉语词典动辄60几万词的词量，让我程序检索时间骤然上升到了10几秒。。。让我很苦恼，在思考解决方法的过程中发现这也算是计算机科学的一个经典问题了，只不过这回是在Android，这样一个内存环境极度匮乏的情况下，建树等方式需要极端小心。。。希望大家能给我提出一个切实可行的方案！ 如...
三、语料与词汇资源
jiangjingxuan的博客
01-25 1871
当代自然语言处理都是基于统计的，统计自然需要很多样本，因此语料和词汇资源是必不可少的，本节介绍语料和词汇资源的重要性和获取方式 请尊重原创，转载请注明来源网站www.shareditor.com以及原始链接地址 NLTK语料库 NLTK包含多种语料库，举一个例子：Gutenberg语料库，执行： nltk.corpus.gutenberg.fileids() 返回Gutenberg语料库
[ACL2017]Neural Word Segmentation with Rich Pretraining
Deep Learning and NLP Farm
09-23 1389
中文分词的文章，非常有意思 之所以有意思是因为这篇文章将transition-based的方法引入到了neural network, 而且用来分词，当然transition-based用来做parsing的有很多文章，本文的关键问题是如何表示word, P, 和character. 并不是初始化而已，也是本文的创新点，就是pretraining word embedding, P embedd
【算法笔记】CNN Convolutional Neural Network （卷积神经网络）
nymph_h的博客
07-01 251
1. 先皮一会 久仰CNN的大名，进入新闻界，加入美国有线电视新闻网，成为一个跑得飞快的记者一直是我的梦想。但是，平庸的才能无法让我成为一名空间移动系的法师，现在只能努力成为一名精神系人偶师。 话说前两天实验验收，把CNN和RNN搞混了orz，太尴尬了orz，所以现在怎么说也得把他们的概念弄清楚。 2. 算法的作用 输入：一张图片（长x宽x空间维度（RGB，Spatial Dimensions））...
零基础词云工具︱实现文本分词+在线词云实现工具
素质云笔记
04-22 9591
通过网上资料的整理，我写了下面的流程，可以在不写程序的情况下快速的制作个性化词云。好吧，我们现在就开始吧。 一、工具介绍 我们词云制作工具是目前非常流行的tagxedo，tagxedo对于英文的分词做的很好（废话，英文单词之间有空格），但是对于中文分词做的不好，于是我们需要用到另外一个在线工具http://life.chacuo.net/convertexportword（百度找的，你
python代码实现用最大匹配算法设计分词程序实现对文档分词，并计算该程序分词召回率。 可以输入任意句子，显示分词结果。
最新发布
05-29
好的，以下是 Python 代码实现最大匹配算法实现分词，并计算分词召回率： ```python import re def load_words_dict(dict_file): """ 从文件中加载词典 """ words_dict = set() with open(dict_file, 'r', encoding='utf-8') as f: for line in f: word = line.strip() if word: words_dict.add(word) return words_dict def max_match(text, words_dict): """ 最大匹配算法进行分词 """ result = [] while text: matched = False for i in range(len(text), 0, -1): word = text[:i] if word in words_dict: result.append(word) text = text[i:] matched = True break if not matched: result.append(text[0]) text = text[1:] return result def calculate_recall(predicted, golden): """ 计算分词召回率 """ tp = sum(1 for word in predicted if word in golden) return tp / len(golden) # 加载词典 words_dict = load_words_dict('./dict.txt') # 读取文本和分词结果 text = '' with open('./text.txt', 'r', encoding='utf-8') as f: text = f.read() golden = re.findall(r'\w+', text) # 进行分词 predicted = max_match(text, words_dict) # 输出分词结果和召回率 print('分词结果：', predicted) recall = calculate_recall(predicted, golden) print('召回率：', recall) ``` 其中，`./dict.txt` 文件是词典文件，里面包含了我们需要用到的词语；`./text.txt` 文件是需要进行分词的文本。您可以将上述代码保存到一个名为 `segmentation.py` 的文件中，然后在命令行中使用 `python segmentation.py` 命令来运行程序。程序将会输出分词结果和分词召回率。另外，如果您想测试其他句子的分词结果，可以使用 `input()` 函数来输入任意句子，程序将会输出其分词结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值