sphinx代码结构

Coreseek代码结构分析

本文档对coreseek的系统组成和代码主要流程做一个说明。

一．Coreseek的系统组成

Coreseek整个系统的组成，可用下图来表示。

整个coreseek系统由多个可执行程序和一套api组成。

1. 可执行程序主要由下面这些组成：

a)         索引建立和维护程序(索引程序indexer)

b)        查询服务程序(后台服务程序searchd)

c)         辅助工具程序(search, spelldump等)

2. Api主要由下面两个组成

a)         应用程序api（包括ruby，C/C++, Python, php的程序api）

b)        Mysql的sphinxSE引擎接口

 

 

 

 

 

二．Coreseek的工作流程

下图简要描述了coreseek的索引建立、查询和合并的主要工作流程。图后面有简要说明。

 

Coreseek的主要工作流程可以分成三部分：

l         首先建立主索引；

l         而后在主索引基础上进行查询；

l         根据业务需要每隔一段时间，对新增的业务数据建立增量索引，并将增量索引合并到主索引里面。

1. 索引的建立(1-5步)

a)         使用者首先必须建立索引，才能使用coreseek系统进行查询（第一步）

b)        索引程序根据用户请求，读取配置文件，从源数据中读取数据。（第二步）

c)         根据源数据的数据进行分析计算，建立索引（第三步）

d)        将建立的索引写入到索引文件（第四步）

e)         返回索引建立结束的消息（第五步）

2. 根据索引进行查询(6-11步)

a)         使用者调用查询api，输入查询的关键词和条件（第六步）

b)        Api将用户的输入，转化成查询的数据包，发送到sphinx查询服务器（第七步）

c)         查询服务器到索引文件中进行查询，得到查询结果（第八步）

d)        返回查询结果给用户（第九步—第十一步）

3. 增量索引的建立和合并(12-22步)

a)         每隔一段时间，当业务数据发生更改的时候，需要将更改的数据合并到索引中，以便在查询中能够查询到更改以后的数据。这需要使用者先发起索引建立的请求，对增量数据建立增量索引（第十二步）

b)        索引程序从源数据中，查询到从上次建立索引到现在这段时间中，产生更新的数据（第十三步）

c)         对这部分更新的数据进行分析计算，建立增量索引（第十四步）

d)        将增量索引写入到增量索引文件中（第十五步）

e)         建立增量索引结束（第十六步）

f)         用户发出指令，对增量索引和主索引进行合并（第十七步）

g)        从增量索引文件读取增量索引的数据（第十八步）

h)        从主索引读取主索引的数据（第十九步）

i)          合并增量索引和主索引（第二十步）

j)          将合并后的索引写入到新的索引文件，用新的索引文件替换主索引（第二十一步）

k)        合并索引结束（第二十二步）

 

三.文件目录结构

1. 目录结构

把主要的文件目录结构做一个简单说明。省略了部分编译配置文件和一些说明文件。

 

|-- csft-3.2.14    coreseek源代码

|   |-- api  包括java,ruby,C/C++，php的sphinx访问api接口

|   |-- codeblocks    code block的项目工程文件

|   |-- config     编译环境的配置文件

|   |-- contrib   放置第三方扩展的api接口和常用脚本，但目前基本为空

|   |-- csft.doc   空置

|   |-- csft.pytest   python的一个脚本，可以忽略

|   |-- doc    用户手册和部分说明文档。对使用和阅读代码有作用，强烈建议阅读。

|   |-- example.sql   生成手册和测试里面提到的示例数据库schema的sql脚本

|   |-- libexpat   vc的工程项目文件

|   |-- libstemmer_c    vc的工程项目文件

|   |-- misc  一些辅助文件，可以忽略

|   |-- mysqlse  sphinxSE的文件，是mysql的引擎文件，放在编译mysql的时候进行编译

|   |-- pymmseg   mmseg提供出来的python接口

|   |-- src  coreseek源代码目录。核心代码全部在这里

|   |-- test   测试代码

|   `-- win   windows下的工程配置文件

|-- mmseg-3.2.14   mmseg源代码

|   |-- config   编译配置文件

|   |-- data  词典文件

|   |-- python  python接口api代码

|   |-- ruby  ruby接口api代码

|   |-- script   python的一部分生成字典的脚本

|   |-- src  mmseg的源代码目录，核心代码都在这里

`-- testpack   测试配置和数据包

    |-- api  测试环境需要的api接口和测试脚本

    |-- etc 测试环境配置文件

`-- var 测试环境运行数据

 

 

2. Csft/src目录下的文件用途说明

csft-3.2.14/src

|-- indexer.cpp   索引程序index的入口主函数

|-- indextool.cpp  工具程序indextool的入口主函数

|-- llsphinxql.c    sphinql的语法分析器Flex

|-- md5.cpp  实现md5算法的代码

|-- md5.h  实现md5算法的代码

|-- py_helper.cpp 跟python语言交互的接口代码

|-- py_helper.h  跟python语言交互的接口代码

|-- py_layer.cpp 跟python语言相关的代码

|-- py_layer.h   跟python语言相关的代码

|-- py_source.cpp  跟python语言相关的代码

|-- py_source.h  跟python语言相关的代码

|-- py_sphinx.c  跟python语言相关的代码

|-- py_sphinx_interface.cpp  跟python语言相关的代码

|-- py_sphinx_interface.h  跟python语言相关的代码

|-- search.cpp  工具程序search的入口主函数

|-- searchd.cpp  查询程序searchd的入口主函数

|-- spelldump.cpp  工具程序spelldump的入口主函数

|-- sphinx.cpp   主要的逻辑代码，索引建立合并和查询主要的逻辑都在这里。

|-- sphinx.h  

|-- sphinx_internal.h

|-- sphinxcustomsort.inl  支持用户自定义排序的一个文件，用于支持 @custom 的排序方式

|-- sphinxexcerpt.cpp   产生文本摘要和高亮的代码

|-- sphinxexcerpt.h  

|-- sphinxexpr.cpp    跟语法分析器有关的代码

|-- sphinxexpr.h  跟语法分析器有关的代码

|-- sphinxexpr.y   语法分析器yacc的输入文件

|-- sphinxfilter.cpp   sphinx过滤器filter的实现代码

|-- sphinxfilter.h

|-- sphinxmetaphone.cpp  实现Metaphone算法的代码，它是一种基于音标的词干组织法。

|-- sphinxql.l  sphinxql的语法分析器lex的输入文件

|-- sphinxql.y  sphinxql的语法yacc的输入文件

|-- sphinxquery.cpp  sphinx查询语句的解析代码，对查询语句进行解析，并生成语法分析树

|-- sphinxquery.h

|-- sphinxquery.y sphinxql的语法yacc的输入文件

|-- sphinxselect.y  sphinxql的语法yacc的输入文件

|-- sphinxsort.cpp  排序算法实现代码

|-- sphinxsoundex.cpp  语音编码算法代码

|-- sphinxstd.cpp 一部分通用的代码，如lock锁，Mutex，随机器等封装好的代码。

|-- sphinxstd.h 

|-- sphinxstem.h  词干提炼代码的头文件

|-- sphinxstemcz.cpp  捷克语词干的提炼代码

|-- sphinxstemen.cpp  英语的词干提炼代码

|-- sphinxstemru.cpp 俄语的词干提炼代码

|-- sphinxstemru.inl  俄语的词干提炼代码

|-- sphinxtimers.h 计时器代码，这个是用来做sphinx内部性能分析用，看耗时主要在哪部分

|-- sphinxutils.cpp  对配置文件进行解析的代码

|-- sphinxutils.h

|-- sphinxversion.h   定义sphinx版本的宏

|-- tests.cpp  对分词器进行测试的代码

|-- tokenizer_zhcn.cpp 中文分词器的实现代码

|-- tokenizer_zhcn.h 中文分词器的实现代码

|-- yy.cmd  后面这部分yyxxx.xx的文件都是跟语法分析器相关的文件,不再一一分析。

|-- yysphinxexpr.c  跟语法分析器相关的文件

|-- yysphinxexpr.h  跟语法分析器相关的文件

|-- yysphinxql.c  跟语法分析器相关的文件

|-- yysphinxql.h  跟语法分析器相关的文件

|-- yysphinxquery.c  跟语法分析器相关的文件

|-- yysphinxquery.h  跟语法分析器相关的文件

|-- yysphinxselect.c  跟语法分析器相关的文件

`-- yysphinxselect.h  跟语法分析器相关的文件