sensei
max_198642
这个作者很懒,什么都没留下…
展开
-
zookeeper cluster setup
1 下载zookeeper, 我用了之前的稳定版本3.3.6可参考安装:http://zookeeper.apache.org/doc/trunk/zookeeperStarted.htmlhttp://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html#sc_maintenance2 解压安装, 如果是cluster安装,...原创 2012-10-29 16:42:33 · 148 阅读 · 0 评论 -
sensei1.5 installation
用了一段时间的lucene,总体感觉轻便,灵活,但是还是面临一些问题:1 lucene3.0的index optimize有些问题,当optimize的时候会阻塞查询,更新2 虽然支持near real time search,但是要自己管理,稍显麻烦3 对于大并发量,频繁更新的应用,必然会存在些性能上的问题介于宝秋刚来公司,正好熟悉一下sensei1 download s...2012-09-05 00:47:58 · 73 阅读 · 0 评论 -
sensei cluster
[url]http://senseidb.github.com/sensei/cluster.html[/url][img]http://senseidb.github.com/sensei/images/index-sharding.png[/img]sensei中在node上层有一个broker的概念,会拦截data-event和query request.每个broker都会...原创 2012-09-05 11:14:51 · 70 阅读 · 0 评论 -
sensei gateway
sense通过事件的形式来增加,或删除其管理的索引(下版本更能会支持部分更新)Gateway是senseidb和data event stream的中间层组件。data event(add or delete):[code="java"]{"type":"add","data":{"id":1,"contents":"sensei is cool",原创 2012-09-05 13:08:40 · 63 阅读 · 0 评论 -
sensei indexing via hadoop
构建索引一般是比较费时费力的过程,如果能通过hadoop分布式构建索引就方便了很多。基于sensei的索引都是分shard的,通过sensei提供的工具类,可以在hadoop集群中分shard构建索引,下面简单介绍一下,因为没有文档,只是简单过了一下source code:1 定义properties文件,定义配置选项PropertiesLoader可以生成配置文件类Configu...原创 2012-09-11 20:27:08 · 78 阅读 · 0 评论 -
zoie初窥手记
zoie是linkedIn开发的基于lucene的搜索组件,主要目的是支持近实时搜索,虽然后续的lucene也提供了近实时搜索的功能,但是相比来说,zoie还是具备一些优势的。senseidb的索引管理,近实时搜索等服务都是基于zoie的。通过阅读senseidb的源代码,可以理解senseidb和zoie的一些整合。zoie系统的核心概念:ZoieSystem - 既实现了D...原创 2012-10-11 17:50:06 · 82 阅读 · 0 评论 -
senseidb中对zoie的整合
com.senseidb.conf.SenseiServerBuilder.buildCore()方法中开始对zoie进行实例化:1 构建ZoieConfig实例:ZoieConfig会设置Analyzer, Similarity实例,这些基本的lucene对象可以在sensei配置文件中自定义。设置batchSize, batchDelay, maxBatthSize, rtInde...2012-10-11 21:20:33 · 87 阅读 · 0 评论