ElasticSearch——ElasticSearch和Kibana介绍

1:ElasticSearch

1.1 Doug Cutting工程师介绍

1998年9月4日, Google公司在美国硅谷成立。正如大家所知,它是一家做搜索引擎起家的公司。无独有偶,一位名叫Doug Cutting的美国工程师,也迷上了搜索引擎。**他做了一个用于文本搜索的函数库(姑且理解为软件的功能组件) , 命名为Lucene。**硅谷有了一股用Nutch低成本创业的潮流。(大数据! )随着时间的推移, **无论是Google还是Nutch ,都面临搜索对象”体积”不断增大的问题。尤其是Google ,作为互联网搜索引擎,需要存储大量的网页,并不断优化自己的搜索算法,提升搜索效率。**在这个过程中, Google确实找到了不少好办法,并且无私地分享了出来。开源是一种精神! ( 看到我课程的人)。2003年, Google发表了一篇技术学术论文,公开介绍了自己的谷歌文件系统GFS ( Google File System)。这是Google公司为了存储海量搜索数据而设计的专用文件系统。第二年,也就是2004年, Doug Cutting基于Google的GFS论文,实现了分布式文件存储系统,并将它命名为NDFS ( NutchDistributed File System) 。 Lucene是用JAVA写成的,目标是为各种中小型应用软件加入全文检索功能。因为好用而且开源(代码公开) ,非常受程序员们的欢迎。早期的时候,这个项目被发布在Doug Cutting的个人网站和SourceForge ( 一个开源软件网站)。后来, 2001年底, Lucene成为Apache软件基金会jakarta项目的一个子项目。2004年, Doug Cutting再接再励,在Lucene的基础上,和Apache开源伙伴Mike Cafarella合作,开发了一款可以代替当时的主流搜索的开源搜索引擎,命名为Nutch. Nutch是一个建立在Lucene核心之上的网页搜索应用程序,可以下载下来直接使用。它在Lucene的基础上加了网络爬虫和一些网页。还是2004年, Google又发表了一篇技术学术论文 ,介绍自己的MapReduce编程模型。这个编程模型,用于大规模数据集(大于1TB )的并行分析运算。第二年(2005年) , Doug Cutting又基于MapReduce ,在Nutch搜索引擎实现了该功能。2006年,当时依然很厉害的(雅虎)公司,招安了Doug Cutting。

这里要补充说明一下雅虎招安Doug的背景: 2004年之前,作为互联网开拓者的雅虎,是使用Google搜索引擎作为自家搜索服务的。在2004年开始,雅虎放弃了Google ,开始自己研发搜索引擎。所以。。.
加盟Yahoo之后,Doug Cutting将NDFS和MapReduce进行了升级改造,并重新命名为Hadoop ( NDFS也改名为HDFS , HadoopDistributed File System )。

Hadoop这个名字,实际上是Doug Cutting他儿子的黄色玩具大象的名字。所以,Hadoop的Logo,就是一只奔跑的黄色大象。

我们继续往下说。还是2006年,Google又发论文了。这次,它们介绍了自己的BigTable.这是一种分布式数据存储系统 ,一种用来处理海量数据的非关系型数据库。Doug Cutting当然没有放过,在自己的hadoop系统里面,引入了BigTable,并命名为HBase

所以, Hadoop的核心部分,基本上都有Google的影子。
在这里插入图片描述

2008年1月, Hadoop成功上位,正式成为Apache基金会的顶级项目。同年2月, Yahoo宣布建成了一个拥有1万个内核的Hadoop集群,并将自己的搜索引擎产品部署在上面。7月, Hadoop打破世界纪录,成为最快排序1TB数据的系统,用时209秒。

回到主题
Lucene是一套信息检索工具包! jar包! 不包含搜索引擎系统!
包含的:索引结构! 读写索引的工具! 排序,搜索规则…工具类!
Lucene和ElasticSearch关系:
ElasticSearch是基于Lucene做了一些封装和增强(我们上手是十分简单! )

1.2 ElasticSearch介绍

  • Elaticsearch ,简称为es , es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储。检索数据;本身扩展性很好,可以扩展到上百台服务
  • 4
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值