搜索引擎七：总结

项目代码

• 项目Github地址

总结

• 项目由服务器，数据库，全文索引引擎，爬虫框架，网页框架组成
• 由于各组件开源，每一部分都可以随时更换别的工具或自己写
• 对于服务器来说，因为开发环境是windows，所以选取了nginx+flup作为服务器，在linux下可以选择nginx+uwsgi作为服务器
• 对于数据库而言，这里用了mysql，但因为python可以连接几乎所有的数据库，因此可以用各种数据集代替，比如mongodb等
• 对于全文搜索引擎来说，这里用了coreseek(基于 Sphinx )，常见的开源引擎还有：Lucene , Xapian 。因为内存关系，建立索引的时候用了本地建好的索引，还可以考虑使用实时索引
• 对于爬虫框架而言， 这里用Scrapy，除了自己写以外，有关python的框架还有Pyspider
• 对于网页框架来说，这里用Django，常见还有： Flask， Web2py