coreseek+mmseg实现中文分词

最新推荐文章于 2021-03-11 00:53:38 发布
最新推荐文章于 2021-03-11 00:53:38 发布
阅读量818 收藏
点赞数
文章标签： coreseek 搜索 数据库 PHP Windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxy_jci/article/details/9129527
版权

在windows下实现中文分词方法：

1,首先下载mmseg,下载地址：http://www.coreseek.cn/opensource/mmseg/；这里我是将下载的文件解压到e/mmseg下；

2,修改coreseek/bin/sphinx.conf里的配置文件：


charset_dictpath = e:\mmseg\data\


ngram_len=0    


    3，重新启动coreseek即可！

hxy_jci
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
coreseek之mmseg分词和词库拓展
陈嘉怡的专栏
12-14 2734
mmseg分词 mmseg分词算法是基于统计模型的，所以算法的规则也是来自对语料库的分析和数学归纳，因为中文字符没有明确的分界，会导致大量的字符分界歧义，而且，中文里面，词和短语也很难界定，因此，算法除了要做统计和数学归纳之外，还要做歧义的解决。 在mmseg分词中，有一个叫chunk的概念： chunk，是一句话的分词方式。包括一个词条数组和四个规则。 如：研究生命，有“研究/生命”和“
Sphinx中文参考手册.rar
07-09
Sphinx 是一个在GPLv2 下发布的一个全文检索引擎，商业授权（例如, 嵌入到其他程序中）需要联系我们（Sphinxsearch.com）以获得商业授权。 一般而言，Sphinx是一个独立的搜索引擎，意图为其他应用提供高速、低空间占用、高结果相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。 当前系统内置MySQL和PostgreSQL 数据库数据源的支持，也支持从标准输入读取特定格式的XML数据。通过修改源代码，用户可以自行增加新的数据源（例如：其他类型的DBMS 的原生支持）。 搜索API支持PHP、Python、Perl、Rudy和Java，并且也可以用作MySQL存储引擎。搜索API非常简单，可以在若干个小时之内移植到新的语言上。 Sphinx 是SQL Phrase Index的缩写，但不幸的和CMU的Sphinx 目录 1. 简介 1.1. 什么是 Sphinx 1.2. Sphinx 的特性 1.3. 如何获得 Sphinx 1.4. 许可协议 1.5. 作者和贡献者 1.6. 开发历史 2. 安装 2.1. 支持的操作系统 2.2. 依赖的工具 2.3. 安装 Sphinx 2.4. 已知的问题和解决方法 2.5. Sphinx 快速入门教程 3. 建立索引 3.1. 数据源 3.2. 属性 3.3. 多值属性 ( MVA ： multi-valued attributes) 3.4. 索引 3.5. 数据源的限制 3.6. 字符集 , 大小写转换 , 和转换表 3.7. SQL 数据源 (MySQL, PostgreSQL) 3.8. xmlpipe 数据源 3.9. xmlpipe2 数据源 3.10. 实时索引 更新 3.11. 索引合并 4. 搜索 4.1. 匹配模式 4.2. 布尔查询 4.3. 扩展查询 4.4. 权值计算 4.5. 排序模式 4.6. 结果分组（聚类） 4.7. 分布式搜索 4.8. searchd 日志格式 5. API 参考 5.1. 通用 API 方法 5.1.1. GetLastError 5.1.2. GetLastWarning 5.1.3. SetServer 5.1.4. SetRetries 5.1.5. SetArrayResult 5.2. 通用搜索设置 5.2.1. SetLimits 5.2.2. SetMaxQueryTime 5.3. 全文搜索设置 5.3.1. SetMatchMode 5.3.2. SetRankingMode 5.3.3. SetSortMode 5.3.4. SetWeights 5.3.5. SetFieldWeights 5.3.6. SetIndexWeights 5.4. 结果集过滤设置 5.4.1. SetIDRange 5.4.2. SetFilter 5.4.3. SetFilterRange 5.4.4. SetFilterFloatRange 5.4.5. SetGeoAnchor 5.5. GROUP BY 设置 5.5.1. SetGroupBy 5.5.2. SetGroupDistinct 5.6. 搜索 5.6.1. Query 5.6.2. AddQuery 5.6.3. RunQueries 5.6.4. ResetFilters 5.6.5. ResetGroupBy 5.7. 额外的方法 5.7.1. BuildExcerpts 5.7.2. UpdateAttributes 6. MySQL 存储引擎 (SphinxSE) 6.1. SphinxSE 概览 6.2. 安装 SphinxSE 6.2.1. 在 MySQL 5.0.x 上 编译 SphinxSE 6.2.2. 在 MySQL 5.1.x 上编译 SphinxSE 6.2.3. SphinxSE 安装测试 6.3. 使用 SphinxSE 7. 报告 bugs 8. sphinx.conf 选项参考 8.1. Data source 配置选项 8.1.1. type 8.1.2. sql_host 8.1.3. sql_port 8.1.4. sql_user 8.1.5. sql_pass 8.1.6. sql_db 8.1.7. sql_sock 8.1.8. mysql_connect_flags 8.1.9. sql_query_pre 8.1.10. sql_query 8.1.11. sql_query_range 8.1.12. sql_range_step 8.1.13. sql_attr_uint 8.1.14. sql_attr_bool 8.1.15. sql_attr_timestamp 8.1.16. sql_attr_str2ordinal 8.1.17. sql_attr_float 8.1.18. sql_attr_multi 8.1.19. sql_query_post 8.1.20. sql_query_post_index 8.1.21. sql_ranged_throttle 8.1.22. sql_query_info 8.1.23. xmlpipe_command 8.1.24. xmlpipe_field 8.1.25. xmlpipe_attr_uint 8.1.26. xmlpipe_attr_bool 8.1.27. xmlpipe_attr_timestamp 8.1.28. xmlpipe_attr_str2ordinal 8.1.29. xmlpipe_attr_float 8.1.30. xmlpipe_attr_multi 8.2. 索引配置选项 8.2.1. type 8.2.2. source 8.2.3. path 8.2.4. docinfo 8.2.5. mlock 8.2.6. morphology 8.2.7. stopwords 8.2.8. wordforms 8.2.9. exceptions 8.2.10. min_word_len 8.2.11. charset_type 8.2.12. charset_table 8.2.13. ignore_chars 8.2.14. min_prefix_len 8.2.15. min_infix_len 8.2.16. prefix_fields 8.2.17. infix_fields 8.2.18. enable_star 8.2.19. ngram_len 8.2.20. ngram_chars 8.2.21. phrase_boundary 8.2.22. phrase_boundary_step 8.2.23. html_strip 8.2.24. html_index_attrs 8.2.25. html_remove_elements 8.2.26. local 8.2.27. agent 8.2.28. agent_connect_timeout 8.2.29. agent_query_timeout 8.2.30. preopen 8.2.31. charset_dictpath 8.3. indexer 程序配置选项 8.3.1. mem_limit 8.3.2. max_iops 8.3.3. max_iosize 8.4. searchd 程序配置选项
sphinx的安装配置和中文分词包coreseek
热门推荐
无效的博客
09-16 1万+
sphinx在此处下载：
php mmseg,coreseek+sphinx+mmseg中文分词安装
weixin_34404199的博客
03-11 118
由于官网挂了，找资源 下载coreseek+sphinx+mmseg中文分词安装费了很多时间开始是在github上一阵狂搜，找了几个都安装失败，后来在csdn上找到资源，一阵折腾之后安装成功准备工作，我是预先安装好了lnmpyum-yinstallmakegccgcc-c++libtoolautoconfautomakeimakemysql-devellibxml2-deve...
coreseek实现中文检索服务
nellson的专栏
07-23 1939
主要参考了两篇文章，使用的安装版本为 coreseek-4.1-beta.tar 文章一，原地址为：http://zhan.renren.com/itbegin?gid=3602888498033481671&checked=true ubuntu-10.04的安装环境 coreseek安装需要预装的软件： shell>apt-get install make gc
coreseek 安装 配置 的及详细的使用方法
hg421的博客
05-16 502
coreseek安装需要预装的软件：yum install make gcc g++ gcc-c++ libtool autoconf automake imake MySQL-devel libxml2-devel expat-devel Ubuntu 安装扩展插件sudo apt-get install make gcc g++ automake libtool mysql-client
coreseek(sphinx + 中文分词)
09-29
Coreseek 是一款中文全文检索/搜索软件，以GPLv2许可协议开源发布，基于Sphinx研发并独立发布，专攻中文搜索和信息处理领域，适用于行业/垂直搜索、论坛/站内搜索、数据库搜索、文档/文献检索、信息检索、数据挖掘等...
centos+php+coreseek+sphinx+mysql之一coreseek安装篇
10-21
主要介绍了centos+php+coreseek+sphinx+mysql之一coreseek安装篇的相关资料,非常不错具有参考借鉴价值，需要的朋友可以参考下
基于Coreseek+Python的分布式全文检索方法.pdf
06-29
基于Coreseek+Python的分布式全文检索方法.pdf
基于Coreseek+Python的分布式全文检索方法.zip
10-16
基于Coreseek+Python的分布式全文检索方法
Coreseek算法分析
洋葱的专栏
05-04 1万+
sphinx, coreseek 算法 double array soundex metaphone mmseg n-gram bm25 stemmer stemming 内存外排序 桶排序 trie tree
coreseek分词配置
csdn265的博客
04-11 1641
中文分词核心配置 coreseek-3.2.13兼容sphinx-0.9.9的配置，可以不经修改，即可直接使用。 不过，为了更好的针对中文进行检索，则需要使用coreseek新增的配置参数，设置中文分词。 以下是中文分词的核心配置，请仔细阅读，应用到自己的配置之中： source 数据源名称a { #...... #该部分的配置，直接采用sphinx的配置，无需更改即可直接使用
Sphinx 的介绍和原理探索
记录一些工作日常和学习
03-12 1314
本文转自http://mt.sohu.com/20160531/n452304086.shtml What/Sphinx是什么 　　定义：Sphinx是一个全文检索引擎。 　　特性： 　　索引和性能优异易于集成SQL和XML数据源，并可使用SphinxAPI、SphinxQL或者SphinxSE搜索接口易于通过分布式搜索进行扩展高速的索引建立(在当代CPU上，峰值性能可
coreseek sphinx+mmseg 斯分克斯 + 中文分词安装
hjh15827475896的博客
06-03 1392
sphinx 就全文检索技术，在一个大型的网站，有上亿条的数据要检索时，用传统的 mysql语名来查询的话，可能要几分钟甚至十多分钟，没有效率，浪费资源，这时我们可以使用sphinx的全文检索功能，就可以在几秒中之内查到自己想要的数据 sphinx的工作原理大至可以这样理解 它快速检索数据库中的每一条记录，然后把记录中的词分出来，并维护一个 表，表中的记录是分出来的词，对应的数据库的那一条数据
php sphinx 高效率搜索引擎搭建(一)
二两天涯的专栏
07-21 1053
本文主要介绍Sphinx的入门使用，新手观看，老鸟指正！ * 1、简介 * 1.1.Sphinx是什么 * 1.2.Sphinx的特性 * 1.3.Sphinx中文分词 * 2、安装配置实例 * 2.1 在GNU/Linux/unix系统上安装 o 2.1.1 sphinx安装 o 2.1.2.sfc安装(见另文) o 2.1.3.coreseek安装（见另文）
Sphinx中文分词Coreseek+Mmseg安装配置和示例
冰河的专栏
10-04 2848
Coreseek+Mmseg 实现中文分词的安装配置的记录笔记。 安装前首先安装依赖的软件包 yum install make gcc g++ gcc-c++ libtool autoconf automake imake libxml2-devel expat-devel 下载并编译安装mmseg： wget http://www.coreseek.cn/uploads/csft/4.0
CoreSeek详细入门教程
m493096871的博客
11-12 7620
centos6操作系统 Coreseek 是一款中文全文检索/搜索软件，以GPLv2许可协议开源发布，基于Sphinx研发并独立发布，专攻中文搜索和信息处理领域，适用于行业/垂直搜索、论坛/站内搜索、数据库搜索、文档/文献检索、信息检索、数据挖掘等应用场景，用户可以免费下载使用。 coreseek安装需要预装的软件： yum install make gcc g++ gcc-c++ libt...
coreseek中LibMMsg中文分词
ms_X0828的专栏
06-20 4583
mmseg -u unigram.txt 该命令执行后，将会在unigram.txt所在目录中产生一个名为unigram.txt.uni的文件，将该文件改名为uni.lib，完成词典的构造。需要注意的是，unigram.txt需要预先准备，并且编码格式必须为UTF-8编码 在unigram.txt中的格式为： ... 帮助    1 x:1 否    12 x:12 ... 其中
下载 coreseek
最新发布
07-27
对于下载coreseek，你可以按照官方提供的教程进行操作。官方页面上有详细的安装指南，你可以访问http://www.coreseek.cn/products-install/install_on_windows/获取更多信息。\[1\]在安装coreseek之前，你需要预先...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值