ElasticSearch——ElasticSearch和Kibana介绍

1：ElasticSearch

1.1 Doug Cutting工程师介绍

1998年9月4日, Google公司在美国硅谷成立。正如大家所知,它是一家做搜索引擎起家的公司。无独有偶，一位名叫Doug Cutting的美国工程师,也迷上了搜索引擎。**他做了一个用于文本搜索的函数库(姑且理解为软件的功能组件) , 命名为Lucene。**硅谷有了一股用Nutch低成本创业的潮流。(大数据! )随着时间的推移, **无论是Google还是Nutch ,都面临搜索对象”体积”不断增大的问题。尤其是Google ,作为互联网搜索引擎,需要存储大量的网页,并不断优化自己的搜索算法,提升搜索效率。**在这个过程中, Google确实找到了不少好办法,并且无私地分享了出来。开源是一种精神! ( 看到我课程的人)。2003年, Google发表了一篇技术学术论文,公开介绍了自己的谷歌文件系统GFS ( Google File System)。这是Google公司为了存储海量搜索数据而设计的专用文件系统。第二年,也就是2004年, Doug Cutting基于Google的GFS论文,实现了分布式文件存储系统,并将它命名为NDFS ( NutchDistributed File System) 。 Lucene是用JAVA写成的,目标是为各种中小型应用软件加入全文检索功能。因为好用而且开源(代码公开) ,非常受程序员们的欢迎。早期的时候,这个项目被发布在Doug Cutting的个人网站和SourceForge ( 一个开源软件网站)。后来, 2001年底, Lucene成为Apache软件基金会jakarta项目的一个子项目。2004年, Doug Cutting再接再励,在Lucene的基础上,和Apache开源伙伴Mike Cafarella合作,开发了一款可以代替当时的主流搜索的开源搜索引擎,命名为Nutch. Nutch是一个建立在Lucene核心之上的网页搜索应用程序，可以下载下来直接使用。它在Lucene的基础上加了网络爬虫和一些网页。还是2004年, Google又发表了一篇技术学术论文 ,介绍自己的MapReduce编程模型。这个编程模型,用于大规模数据集(大于1TB )的并行分析运算。第二年(2005年) , Doug Cutting又基于MapReduce ,在Nutch搜索引擎实现了该功能。2006年,当时依然很厉害的(雅虎)公司,招安了Doug Cutting。

这里要补充说明一下雅虎招安Doug的背景: 2004年之前,作为互联网开拓者的雅虎,是使用Google搜索引擎作为自家搜索服务的。在2004年开始,雅虎放弃了Google ,开始自己研发搜索引擎。所以。。.
加盟Yahoo之后，Doug Cutting将NDFS和MapReduce进行了升级改造,并重新命名为Hadoop ( NDFS也改名为HDFS , HadoopDistributed File System )。

Hadoop这个名字，实际上是Doug Cutting他儿子的黄色玩具大象的名字。所以，Hadoop的Logo，就是一只奔跑的黄色大象。

我们继续往下说。还是2006年，Google又发论文了。这次，它们介绍了自己的BigTable.这是一种分布式数据存储系统 ，一种用来处理海量数据的非关系型数据库。Doug Cutting当然没有放过，在自己的hadoop系统里面，引入了BigTable，并命名为HBase

所以, Hadoop的核心部分,基本上都有Google的影子。

2008年1月, Hadoop成功上位,正式成为Apache基金会的顶级项目。同年2月, Yahoo宣布建成了一个拥有1万个内核的Hadoop集群,并将自己的搜索引擎产品部署在上面。7月, Hadoop打破世界纪录,成为最快排序1TB数据的系统,用时209秒。

回到主题
Lucene是一套信息检索工具包! jar包! 不包含搜索引擎系统!
包含的:索引结构! 读写索引的工具! 排序,搜索规则…工具类!
Lucene和ElasticSearch关系:
ElasticSearch是基于Lucene做了一些封装和增强(我们上手是十分简单! )

1.2 ElasticSearch介绍

• Elaticsearch ,简称为es , es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储。检索数据;本身扩展性很好,可以扩展到上百台服务