我的毕业设计——搜索引擎

本科毕业设计的时候，和同学一起合伙用C语言在Linux下写了个搜索引擎，现在工作了，C语言几乎和我绝缘。今天整理资料的时候，偶然翻到了我的毕设，打开当时的毕设，感慨良多。看看过去熟知的C，想起当初为了写分词（切词）程序整天的抓虫（Debug），为了用爬虫程序抓取网页，电脑一开就是一天，都当起服务器来使了。写程序的日子，是痛并快乐着，痛，是因为每当出现Segmentation fault想半天无法解决的时候；快乐，那就是花费一整天，然后抓虫成功的时候。这些的一切，都远离了我。

我觉得，作为一个有志向有进取心的人，不应该把自己固有的本领忘记，而是应该在已有的本领上不断学习新的知识，不断的提高自己。所以，我决定，以后要把C语言再次拾起，而第一步，就是把我的毕设再次的温习。以下是我毕设的目录，有兴趣的朋友，可以一起讨论。

 

 

目  录

摘要... 1

Abstract 1

引言... 2

第一章 开发平台及环境的介绍... 4

1.1开发平台及开发语言... 4

1.2开发工具... 4

第二章 软件模块功能概述... 4

2.1 DataBase. 6

2.2 下载系统 (dl_sys). 6

2.3 网页预处理分析子系统(ana_sys). 7

2.4 分析槽(anaSlot). 7

2.5 索引系统(ind_sys). 7

2.6 倒排文件——硬盘（disk）... 7

第三章 软件模块功能设计... 7

3.1 分析子系统(ana_sys)——网页源码的处理... 7

3.1.1 网页信息抽取... 7

3.1.2 中文自动分词... 8

3.1.3 字典文件在内存中的储存形式... 13

3.1.4 停用词（Stop Words）... 14

3.2 索引系统(ind_sys)——倒排索引... 15

3.2.1 什么是倒排索引... 15

3.2.2倒排索引在内存中的储存形式... 16

第四章 软件模块功能算法设计及代码实现... 17

4.1 外存文件内容加载的通用方法... 17

4.2 字符串替换... 18

4.3 网页信息抽取的实现... 19

4.4 中文自动分词... 21

4.4.1 加载停用词... 23

4.4.2 加载字典文件... 24

4.5 建立倒排索引文件... 26

4.5.1 结构体... 26

4.5.2 全局变量... 27

第五章 成果及心得... 29

参考文献... 30

致 谢... 30