原文链接:http://www.656463.com/article/ZJZvIv.htm
一. 概述
大量的数据存储在MongoDB上,需要快速搜索出目标内容,于是搭建Solr服务。 另外一点,用Solr索引数据后,可以把数据用在不同的项目当中,直接向Solr服务发送请求,返回xml、json等形式的内容,使得对数据的使用更灵活。
对于MongoDB与Solr的描述不在这里阐释了,本文旨在给大家提供整个Solr与MongoDB接合的方法,实现实时的增量索引。 MongoDB的官网:http://www.mongodb.org/ Solr项目的主页:http://lucene.apache.org/solr/
二. 寻找解决方案
既然有了目标是讲Solr跟MongoDB接到一起,那么就开始想想解决的方案。
网上搜了一些资料之后,汇总了下面三个方案: 1. 使用Solr的DataImport功能(Data Import) 我们先来看看Solr Wiki上对于DataImport功能的描述http://wiki.apache.org/solr/DataImportHandler Most applications store data in relational databases or XML files and searching over such data is a common use-case.The DataImportHandler is a Solr contrib that provides a configuration driven way to import this data into Solr in both "full builds" and using incremental delta imports. 对于存储在关系型数据库及XML上的数据,Solr提供了DataImportHandler去实现全量和增量索引。
啥?人家没说支持NoSQL啊,不信,我看清楚一点。 Wiki中的内容只给出了Usage with RDBMS 和 Usage with XML/HTTP Datasource,貌似Solr目前是不支持对于NoSQL的DataImport的。 有兴趣的朋友可以尝试给Solr添加一个Mongo的DataImportHandler,可能还要写底层的Mongo驱动,工程量可能很大。 关键是这个方案不可控,成本可能会很大,因此我就不采取这种方式了。
在这里给大家分享一篇文章,Solr与MySQL集成指南 确实DataImport这个功能还是比较强大的,而且对MySQL也支持得很好,本人尝试一下将Solr跟MySQL集成起来,配置过程也很简单。 不过MySQL不是本文的重点,跑题了,因此只是尝试了一下,没有深入。
2. 使用脚本语言读取MongoDB中的数据(Script Update) 说白了就是读取整个Collection中的数据,遍历。 这种方案是最直观的,但不优雅,复用性、可维护性低, 最严重的问题在于性能,当数量级在百万以下,那还是可以接受的,一旦数据继续增长,那性能问题就凸显出来了。 然而要是你还想用这种方案,那这里还有一个需要考虑的问题,你是打算每次遍历的时候对Solr进行全量还是增量索引呢? 全量的话就直接overwrite,事情也好办;增量的话,Mongo中删除了的数据你咋整呢?
总而言之,不推荐这种方案,它的复杂度问题很明显,无论是时间上还是空间上。
3. 使用MongoDB的oplog功能(Oplog Update) MongoDB支持集群,集群中的实例进行通信,很自然地想到它们会记录log,在MongoDB中称之为oplog(operation log),类似与MySQL的binlog。 我们可以看看MongoDB官网上对oplog的描述 http://docs.mongodb.org/manual/reference/program/mongooplog/
如果现在你还想用上面方案2的话,那oplog的存在必然是对你的工作带来极大便利的。 其一,oplog是实时记录的,配合tailable cursor,可以实现实时的更新Solr索引,见http://derickrethans.nl/mongodb-and-solr.html 其二,实现优雅,增量的新增删除的判断时间复杂度变为O(1)
看到这里,你想用oplog来实现Solr与MongoDB的集成,那需要理清下面几个问题: (1)mongooplog如何开启,怎么配置才适合 (2)Mongo Tailable Cursor是怎么一回事 (3)使用什么语言,选择合适的Solr Client (4)服务器宕机恢复后的处理
三. 最终方案,mongo-connector
当我性高彩烈地动手实现方案3的时候,我看到了这个http://blog.mongodb.org/post/29127828146/introducing-mongo-connector 竟然找到了一个mongo-solr的connector,当时那个心情真叫欣喜若狂啊。 它完全就是方案3的实现啊!提到的问题它都解决了,而且使用Python正好适合这个项目,一切来得太突然。
Git地址:https://github.com/10gen-labs/mongo-connector 但是配置的过程都搞了我很久,后文将整个过程记录下来
四. 项目环境及工具版本
在本地测试,服务器:Windows7 32-bit MongoDB:mongodb-win32-i386-2.4.5 Tomcat 6 Python:2.7.4 Solr:4.5.1 mongo-connector:没有提供版本号 Python pysolr模块 Python pymongo模块 Python lxml模块:lxml-3.2.3.win32-py2.7
可能还需要一些模块,但由于我在之前已经安装了,没有列举出来。如果运行的过程中报module not found,就去安装吧~
五. Solr端准备
这里默认你已经部署Solr成功,详细的部署过程自行Google。 这里主要是讲述与本次测试相关的配置。
使用的是solr example中的multicore例子,以其中的core0为例子 schema.xml文件如下:修改_id与Mongo对应,只留下一个name字段,为String类型 其它的配置不需要修改 把它放到Tomcat中运行吧,检查是否已经配置成功
六. MongoDB端准备
看到mongo-connector项目中的说明, Since the connector does real time syncing, it is necessary to have MongoDB running, although the connector will work with both sharded and non sharded configurations. It requires a replica set setup. 就算我们开启了oplog也不行,还需要在Mongo中启动一个replica set
1. 配置replica set (1) 我的MONGO_HOME为 D:\mongodb 目录树如下: -rs (d) |----db (d) mongo数据文件文件存放的目录 |----rs1 (d) rs1实例数据文件存放的目录 |----rs2 (d) rs2实例数据文件存放的目录 |----log (d) log文件存放的目录 |----rs1.log (f) rs1实例的log文件 |----rs2.log (f) rs2实例的log文件 |----mongod-rs1.bat rs1实例的启动脚本 |----mongod-rs2.bat rs2实例的启动脚本
mongod-rs1.bat内容如下: D:\mongodb\bin\mongod --port 27001 --oplogSize 100 --dbpath db\rs1 --logpath log\rs1.log --replSet rs/127.0.0.1:27002 --journal mongod-rs2.bat内容如下: D:\mongodb\bin\mongod --port 27002 --oplogSize 100 --dbpath db\rs2 --logpath log\rs2.log --replSet rs/127.0.0.1:27001 --journal
(2)执行两个脚本,启动两个mongod实例
(3)但这时它们还没组成一个replica set,还需要进行配置,开启mongo,连上localhost:27001,也就是实例rs1
至此,配置完成。
七. mongo-connector准备
如果是在mongo example中的multicore默认的配置上修改的话,访问http://localhost:8080/solr/core0/admin/luke?show=Schema&wt=json 应该是能看到JSON形式的core0的schema
打开mongo_connector/doc_managers/solr_doc_manager.py 进行如下修改:1.从util引入verify_url;2. ADMIN_URL修改为获取Solr核core0的JSON形式schema的URL的后半部分,因为要根据schema中的fields进行索引
在Solr多核的情况下启动mongo-connector,会报出Solr URL访问错误,它期望你传入http://localhost:8080/solr, 但http://localhost:8080/solr/core0才是实际起作用的,因此我们需要传入这个作为BASE_URL 解决办法如下:屏蔽掉url检查就行了
接下来就是启动mongo-connector了,启动命令如下:
C:\Users\gmuser\Desktop\mongo_connector>python mongo_connector.py -m localhost:2
7001 -t http://localhost:8080/solr/core0 -o oplog_progress.txt -n test.test
-u _id -d ./doc_managers/solr_doc_manager.py
-m Mongod实例的访问路径 -t Solr的BASE_URL -o 记录oplog处理时间戳的文件 -n mongo命名空间,是监听哪个database哪个collection的设置,以逗号分隔多个命名空间,这里是监听test库中的test集合 -d 就是处理doc的py文件
启动结果如下:说明你的配置已经成功了
八. 测试增量索引
先看看Solr中core0的状态:现在是没有记录的,Num Docs为0
往MongoDB中插入一条数据:需要包含name字段,还记得我们上面的schema.xml吗?
查看mongo-connector的输出:update了一条记录
看看Solr现在的状态:我们看到了刚才插入的
尝试删除掉刚才那条记录,connector输出如下:多了一条update的记录,这次是<delete>
再看看Solr的状态:刚才那条记录没了,删除成功!
九. 一些说明
mongo-connector会在oplog_progress.txt中记录时间戳,可以在服务器宕机恢复后索引Mongo oplog新增的数据,记录如下: ["Collection(Database(MongoClient([u'127.0.0.1:27001', u'127.0.0.1:27002']), u'local'), u'oplog.rs')", 5941530871067574273]
mongo-connector的代码并不复杂,想想上面上面方案3怎么实现,那它就是怎么做的了。 有些地方还是要根据我们项目进行一些修改的。 |