2012年03月_laigood

原创分布式搜索elasticsearch单机与服务器环境搭建

先到http://www.elasticsearch.org/download/下载最新版的elasticsearch运行包，本文写时最新的是0.19.1，作者是个很勤快的人，es的更新很频繁，bug修复得很快。下载完解开有三个包:bin是运行的脚本，config是设置文件，lib是放依赖的包。如果你要装插件的话就要多新建一个plugins的文件夹，把插件放到这个文件夹中。1.单机环境：

2012-03-31 14:20:57 16448 11

原创 Mongodb与spring集成（4）------读写mongo GridFs中的文件

mongodb里面自带有一个分布式文件系统gridFs，它是以块的方式来存储文件的，一般的存储都够用了，国内一个使用例子是视觉中国使用它来进行上亿数据级的图片存储，可以看出这套文件系统还是挺强大的。下面介绍下如何用spring-data-mongodb来对其进行操作，其实spring-data-mongodb并没有对gridfs进行再次封装，我们只能自己根据需要简单封装下接口，mongodb ja

2012-03-31 10:20:28 7270 1

原创分布式搜索elasticsearch java API 之（一）------与集群交互

这是关于elasticsearch java api的第一篇教程，陆续会把es的一些心得写出来。可以通过两种方式来连接到elasticsearch（简称es）集群，第一种是通过在你的程序中创建一个嵌入es节点（Node），使之成为es集群的一部分，然后通过这个节点来与es集群通信。第二种方式是用TransportClient这个接口和es集群通信。Node方式创建嵌入节点的方式如下：

2012-03-30 21:01:18 21357 26

原创分布式搜索方案选型之四：Solr+Katta

一个叫katta的开源项目进入我的视线，它是一个分布式索引建立和管理工具，底层是hadoop的hdfs分布式文件系统，hadoop是当今云计算的热门使用项目，由apatch开源是一个海量数据的处理和存储方案，它的主要核心就是它的hdfs分布式文件存储系统和mapreduce算法，它们分别是google论文中的gfs和mapreduce的开源实现。目前大公司的云计算平台基本上都是基于它来搭建的。因为

2012-03-14 21:33:04 7914 4

原创分布式搜索方案选型之三：SolrCloud

逛solr官网时无意发现了solrCloud这个开源项目，即solr云或叫分布式solr。它是基于solr的，使用zookeeper作为节点之间通信管理，它具有solr的所有特征，并提供索引分片的功能，不过这是要自己在配置文件中配置分片信息的。它好的地方是它是个实时的搜索引擎，即将推出的lucene4.0将实现实时搜索，而solrCloud就是基于开发中的lucene4.0的，目前solrClou

2012-03-14 21:31:01 6223 4

原创分布式搜索方案选型之二：Solandra

我在学校项目实践时使用过solandra，它是一个基于solr和nosql数据库cassandra的分布式搜索引擎。cassandra是由facebook开源的nosql数据库，facebook的信箱搜索就是基于它实现的，它是基于列结构的，不同与关系数据库。它的数学模型基于google的bigtable和Amazon的Dynamo，它的一个重要特性是没有对外没有中心节点，所以不会存在单点故障的问题

2012-03-14 21:28:06 7431 1

原创分布式搜索方案选型之一：Solr

我第一个了解到的分布式搜索框架是solr,它是由java开发的，基于lucene的分布式搜索引擎，提供了类似于webserver的编程接口，是一个比较成熟的搜索引擎，目前很多公司都在使用。很快我就部署了一个由4台机器组成的solr集群，开始导公司的数据进去测试，导的数据为200万。导入速度非常快。接下来就开始测试查询效率，发现它是有缓存的，第一次查询的时间基本上在80～150毫秒之间，第二次查由于

2012-03-14 21:24:43 5745 1

原创分布式搜索方案选型之五（终篇）：Elasticsearch

最后发现了elasticsearch这个分布式搜索框架，我一看它的介绍就觉得，就是它了。它基本上所有我想要的特性都包含了，分布式搜索，分布式索引，零配置，自动分片，索引自动负载，自动发现，restful风格接口。于是就开始使用，部署了四台机器，并把索引导了进去，我设置的分片为3，即把索引分成三片，副本为2，即有两份完整的索引。通过它的管理工具可以很清晰的看到它索引分布的情况：哪块分

2012-03-14 13:45:28 19036 6

原创 spring缓存集成memcache

spring3.1.0开始支持注解方式的缓存实现，非常方便，不过它目前只支持java内置的ConcurrentMap和ehcache这两种缓存方式，因为项目用到memcache，就想把memcache集成到spring内置的缓存中，使memcache也能用注解方式来调用。于是参考ehcache的集成方式，把memcache集成到项目中。spring把所有缓存都抽象为一个cache，相当于一个缓存集

2012-03-13 20:13:26 9651 2

原创 spring mvc数据绑定时通过去除html标签防止js注入

现在做的项目之前没有考虑到js注入的问题，现在想通过在spring对数据进行绑定时，去除html标签来在后端防止js注入，首先先研读它的源码，我们大部分controller都是扩展MultiActionController这个类，用到的是bind(HttpServletRequest request, Object command)这个方法，它是通过调用createBinder方法创建Servle

2012-03-02 14:44:51 5395 1

云端分布式搜索技术