Elasticsearch的诞生、发展与愿景

本文来自InfoQ，介绍了Elasticsearch的发展历史以及愿景，投稿请私信，并发编程网每天选择全网最好的文章推送给大家。

Elasticsearch是一款基于Apache Lucene构建的开源搜索引擎，它采用Java编写并使用Lucene构建索引、提供搜索功能，Elasticsearch的目标是让全文搜索变得简单，开发者可以通过它简单明了的RESTFul API轻松地实现搜索功能，而不必去面对Lucene的复杂性。Elasticsearch能够轻松的进行大规模的横向扩展，以支撑PB级的结构化和非结构化海量数据的处理，最近来自于S&S Media的 Diana Kupfer就Elasticsearch的发展历程采访了其创建者Shay Banon，本文整理了该采访的主要内容，如果想阅读英文原文，可以点击这里。

在谈到为什么会接触Lucene并开发Elasticsearch的时候，Shay Banon认为自己参与Lucene完全是一种偶然，当年他还是一个待业工程师，跟随自己的新婚妻子来到伦敦，妻子想在伦敦学习做一名厨师，而自己则想为妻子开发一个方便搜索菜谱的应用，所以才接触到Lucene。直接使用Lucene构建搜索有很多问题，包含大量重复性的工作，所以Shay便在Lucene的基础上不断地进行抽象，让Java程序嵌入搜索变得更容易，经过一段时间的打磨便诞生了他的第一个开源作品“Compass”，中文即“指南针”的意思。之后，Shay找到了一份面对高性能分布式开发环境的新工作，在工作中他渐渐发现越来越需要一个易用的、高性能、实时、分布式搜索服务，于是他决定重写Compass，将它从一个库打造成了一个独立的server，并将其改名为Elasticsearch。

对于开发开源分布式系统的一些最佳实践，以及需要特别注意的地方，Shay Banon认为构建一个分布式的系统并不容易，在将Elasticsearch从一个个人项目变成一个公司项目之后，他们的首要任务就是创建一个崭新的测试基础设施以测试并验证系统的行为。分布式系统需要在网络上的不同机器上运行，这意味着当错误发生的时候很难调试，为此Elasticsearch花费了大量时间构建了一个能够将分布式测试作为“普通”集成测试的一部分运行的测试工具。Shay Banon认为“如果一个系统没有测试，何谈它的运行机理”，测试系统是构建分布式系统最重要的基础设施之一。

Shay Banon认为对于现在的企业而言数据是所有业务的生命源泉，企业想要通过最简单的方式从数据中获取尽可能多的价值，而搜索就是实现这一目标的一种非常好的方式。Elasticsearch能够对海量数据进行全文搜索，结构化的搜索和分析，并且已经被大量的组织所使用，包括Foursquare、Wikimedia、GitHub以及CERN。谈到Elasticsearch的成功，Shay Banon认为Elasticsearch通过构建一种能够允许用户将任意领域模型映射到“搜索”上的技术实现了用例的爆发式增长；通过标准化的JSON和RESTful接口，使用不同编程语言、不同框架的开发者可以将其应用到各种各样的用例中。另外，Elasticsearch不关心数据的类型，无论是传统的web页面、word文档、web服务器的日志，还是Foursquare上的一个位置，银行的一条交易记录都可以通过它进行索引并搜索。

今年夏天，Elasticsearch获得了7000万美元的C轮融资，对于该融资对公司路线图的影响，Shay Banon说：

“正如你所看到的，作为一家公司我们有非常雄伟的目标。我们最高的目标就是尽快地为我们的用户交付实实在在的东西。在创建公司的时候我们做的第一件事就是确保所有流行的语言和框架都有正式的客户端驱动。现在，我们已经有可以与Ruby、Python、PHP、Perl、.NET和Java集成的客户端，将来会有更多。我们还在构建Kibana和Logstash，前者旨在让用户能够非常容易地可视化Elasticsearch中的数据，后者则是为了收集、分析和存储日志而设计，用户可以使用它将数据导入到Elasticsearch中。除此之外，我们还在开发一个能够将Elasticsearch与Hadoop集成到一起的模块，它支持所有的Hadoop发行版，包括Apache Hadoop、MapR、Cloudera和Hortonworks。这些都是大项目，大部分投资都进入到了这些项目的开发中。通过融资，我们不仅能够确保公司可以实现短期目标，同时还能够制定雄伟的长期计划并尽快地开始实施。”

=====================================================

感谢 Coding 对本微信的支持。Coding.net 是一个面向开发者的云端开发平台，目前提供代码托管、运行空间、质量控制、项目管理等功能。