ElasticSearch基础知识

本章内容概述

1、ElasticSearch介绍
2、ElasticSearch应用场景
3、ElasticSearch存储结构

1、ElasticSearch介绍

1.1 ElasticSearch 概述

	ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。
	
	Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够
达到实时搜索，稳定，可靠，快速，安装使用方便。
	
	我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，
我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可
用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用
Elasticsearch来解决所有这些问题及可能出现的更多其它问题。

	Elasticsearch 还是一个分布式文档数据库，其中每个字段均是被索引的数据且可被搜索，它能够扩展至数以百计的服务器存储以及处
理PB级的数据。它可以在很短的时间内在储、搜索和分析大量的数据。它通常作为具有复杂搜索场景情况下的核心发动机。

	Elasticsearch就是为高可用和可扩展而生的。可以通过购置性能更强的服务器来完成。
	
	官网:https://www.elastic.co/downloads/elasticsearch
	中文社区https://es.xiaoleilu.com/ 
	什么是PB级别https://baike.baidu.com/item/PetaByte/5910820

1.1.1 分布式计算

	随着计算机系统规模变得越来越大，将所有的业务单元集中部署在一个或若干个大型机上的体系结构，已经越来越不能满足当今计算机系
统，尤其是大型互联网系统的快速发展，各种灵活多变的系统架构模型层出不穷。分布式的处理方式越来越受到业界的青睐——计算机系统正在
经历一场前所未有的从集中式向分布式架构的变革。

	什么是分布式计算？所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，
然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。

1.1.2 多用户系统

	多用户系统是指一台主机，通过多用户卡，连接若干终端组成的计算机系统。多用户系统的基本思想为多用户“分时共用”一台主机，共享
主机资源，包括硬件资源和软件资源，节省投资。主机承担所有用户的信息处理任务，实施集中管理。 

	分时共用包括两点内容： 一是在任一时刻只能有一台终端与主机接通；二是所有终端轮流与主机通讯。

1.1.3 全文搜索引擎

	全文搜索引擎是目前广泛应用的主流搜索引擎。它的工作原理是计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，
指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个
过程类似于通过字典中的检索字表查字的过程。

	全文搜索引擎系统整体架构:

1.2 Elasticsearch和Lucene

	Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性
能最好的、功能最全的搜索引擎库。

	但是，Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene非常复杂
，你需要深入了解检索的相关知识来理解它是如何工作的。

	Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐
藏Lucene的复杂性，从而让全文搜索变得简单。

	不过，Elasticsearch不仅仅是Lucene和全文搜索，我们还能这样去描述它：
		
		分布式的实时文件存储，每个字段都被索引并可被搜索
		分布式的实时分析搜索引擎
		可以扩展到上百台服务器，处理PB级结构化或非结构化数据
		
	而且，所有的这些功能被集成到一个服务里面，你的应用可以通过简单的RESTful API、各种语言的客户端甚至命令行与之交互。
	
	上手Elasticsearch非常容易。它提供了许多合理的缺省值，并对初学者隐藏了复杂的搜索引擎理论。它开箱即用（安装即可使用），只
需很少的学习既可在生产环境中使用。

	随着你对Elasticsearch的理解加深，你可以根据不同的问题领域定制Elasticsearch的高级特性，这一切都是可配置的，并且配置非常
灵活。

1.3 Elasticsearch特点

	1、可以作为一个大型分布式集群（数百台服务器）技术，处理PB级数据，服务大公司；也可以运行在单机上，服务小公司
	
	2、Elasticsearch不是什么新技术，主要是将全文检索、数据分析以及分布式技术，合并在了一起，才形成了独一无二的ES:lucene
（全文检索），商用的数据分析软件（也是有的），分布式数据库（mycat）
	
	3、对用户而言，是开箱即用的，非常简单，作为中小型的应用，直接3分钟部署一下ES，就可以作为生产环境的系统来使用了，数据量不
大，操作不是太复杂。

	4、数据库的功能面对很多领域是不够用的（事务，还有各种联机事务型的操作）；特殊的功能，比如全文检索，同义词处理，相关度排
名，复杂数据分析，海量数据的近实时处理；Elasticsearch作为传统数据库的一个补充，提供了数据库所不能提供的很多功能。

1.4 Elasticsearch优势

 	1、横向可扩展性:只需要增加台服务器，做一点儿配置，启动一下Elasticsearch就可以并入集群。

		Scale Out（横向扩展）向外扩展，指的是采购新的设备，和现有设备一起提供更强的负载能力。
		
		Scale Up(纵向扩展)向上扩展，指的是替换掉已经不能满足需求的硬件设备、采购更高性能的硬件设备，从而提升系统的负载能力

	2、分片机制提供更好的分布性:同一个索引分成多个分片(sharding), 这点类似于HDFS的块机制;分而治之的方式可提升处理效率。

		所谓的分片机制:其实就是大的数据分成几个小的部分，分别放置存储
		
		实列场景：

		假设 IndexA 有2个分片，我们向 IndexA 中插入10条数据 (10个文档)，那么这10条数据会尽可能平均的分为5条存储在第一个
分片，剩下的5条会存储在另一个分片中。

	3、高可用:提供复制( replica) 机制，一个分片可以设置多个复制，使得某台服务器在宕机的情况下，集群仍旧可以照常运行，并会把
服务器宕机丢失的数据信息复制恢复到其他可用节点上。

1.5 模糊的历史

	多年前，一个叫做Shay Banon的刚结婚不久的失业开发者，由于妻子要去伦敦学习厨师，他便跟着也去了。在他找工作的过程中，为了给
妻子构建一个食谱的搜索引擎，他开始构建一个早期版本的Lucene。

	直接基于Lucene工作会比较困难，所以Shay开始抽象Lucene代码以便Java程序员可以在应用中添加搜索功能。他发布了他的第一个开源
项目，叫做“Compass”。

	后来Shay找到一份工作，这份工作处在高性能和内存数据网格的分布式环境中，因此高性能的、实时的、分布式的搜索引擎也是理所当然
需要的。然后他决定重写Compass库使其成为一个独立的服务叫做Elasticsearch。

	第一个公开版本出现在2010年2月，在那之后Elasticsearch已经成为Github上最受欢迎的项目之一，代码贡献者超过300人。一家主营
Elasticsearch的公司就此成立，他们一边提供商业支持一边开发新功能，不过Elasticsearch将永远开源且对所有人可用。

	Shay的妻子依旧等待着她的食谱搜索……

2、ElasticSearch应用场景

2.1 Elasticsearch使用公司

	维基百科
	The Guardian（国外新闻网站）
	Stack Overflow（国外的程序异常讨论论坛）
	GitHub（开源代码管理）
	电商网站
	日志数据分析
	BI系统
	站内搜索

2.2 Elasticsearch应用场景

	大型分布式日志分析系统ELK:elasticsearch（存储日志）+logstash(收集日志)+kibana(展示数据)
	
	大型电商商品搜索系统、网站站内搜索、网盘搜索引擎等。

2.2.1 ELK介绍

	日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及
错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

	通常，日志被分散在储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是
感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。

	集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是
对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

	通过我们需要对日志进行集中化管理，将所有机器上的日志信息收集、汇总到一起。完整的日志数据具有非常重要的作用：
		1）信息查找。通过检索日志信息，定位相应的bug，找出解决方案。
		
		2）服务诊断。通过对日志信息进行统计、分析，了解服务器的负荷和服务运行状态，找出耗时请求进行优化等等。
		
		3）数据分析。如果是格式化的log，可以做进一步的数据分析，统计、聚合出有意义的信息，比如根据请求中的商品id，找出TOP10
	用户感兴趣商品。
	
	开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成：
		1）ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引
	副本机制，restful风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。
	Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达
	到实时搜索，稳定，可靠，快速，安装使用方便。 
		在elasticsearch中，所有节点的数据是均等的。
		
		2）Logstash是一个完全开源的工具，它可以对你的日志进行收集、过滤、分析，支持大量的数据获取方法，并将其存储供以后使用
	（如搜索）。说到搜索，logstash带有一个web界面，搜索和展示所有日志。一般工作方式为c/s架构，client端安装在需要收集日志的
	主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
	
		3）Kibana 是一个基于浏览器页面的Elasticsearch前端展示工具，也是一个开源和免费的工具，Kibana可以为 Logstash 和 
	ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。
	
ELK工作原理展示图：

为什么要用到ELK？
	
	一般我们需要进行日志分析场景是：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低
下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常
见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。

	一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息
，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

	一个完整的集中式日志系统，需要包含以下几个主要特点：
		1）收集－能够采集多种来源的日志数据
		2）传输－能够稳定的把日志数据传输到中央系统
		3）存储－如何存储日志数据
		4）分析－可以支持 UI 分析
		5）警告－能够提供错误报告，监控机制
		
		
	ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系
统。

	更多关于ELK的介绍,请阅读: https://www.cnblogs.com/kevingrace/p/5919021.html

3、ElasticSearch存储结构

	Elasticsearch的文件存储，Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档，用JSON作为文档序列化的格式，比
如下面这条用户数据：

{
    "name" :     "John",
    "sex" :      "Male",
    "age" :      25,
    "birthDate": "1990/05/01",
    "about" :    "I love to go rock climbing",
    "interests": [ "sports", "music" ]
}

	用Mysql这样的数据库存储就会容易想到建立一张User表，有balabala的字段等，在Elasticsearch里这就是一个文档，当然这个文档
会属于一个User的类型，各种各样的类型存在于一个索引当中。这里有一份简易的将Elasticsearch和关系型数据术语对照表:

	关系数据库      ⇒ 数据库        ⇒ 表          ⇒ 行              ⇒ 列(Columns)

	Elasticsearch  ⇒ 索引(Index)   ⇒ 类型(type)  ⇒ 文档(Docments)  ⇒ 字段(Fields)  


	一个 Elasticsearch 集群可以包含多个索引(数据库)，也就是说其中包含了很多类型(表)。这些类型中包含了很多的文档(行)，然后
每个文档中又包含了很多的字段(列)。Elasticsearch的交互，可以使用Java API，也可以直接使用HTTP的Restful API方式，比如我们打
算插入一条记录，可以简单发送一个HTTP的请求：

PUT /megacorp/employee/1  
{
    "name" :     "John",
    "sex" :      "Male",
    "age" :      25,
    "about" :    "I love to go rock climbing",
    "interests": [ "sports", "music" ]
}

HTTP的Restful API方式，比如我们打
算插入一条记录，可以简单发送一个HTTP的请求：

PUT /megacorp/employee/1  
{
    "name" :     "John",
    "sex" :      "Male",
    "age" :      25,
    "about" :    "I love to go rock climbing",
    "interests": [ "sports", "music" ]
}

	更新，查询也是类似这样的操作，具体操作手册可以参见Elasticsearch权威指南(https://es.xiaoleilu.com/)