ELK学习笔记（一）

ELK学习笔记（一）

ES百度百科：

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr，也是基于Lucene。

实现原理的步骤：

ElasticSearch 的实现原理主要分为以下几个步骤：
1.用户将数据提交到Elastic Search 数据库中
2.再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据
3.当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户

简介：

一. Elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的。这三个产品被设计成一个集成解决方案，称为“Elastic Stack”（以前称为“ELK stack”）。

二. Elasticsearch的文件存储，Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档，用JSON作为文档序列化的格式，比如下面这条用户数据：

							{
							    "name" :     "John",
							    "sex" :      "Male",
							    "age" :      25,
							    "birthDate": "1990/05/01",
							    "about" :    "I love to go rock climbing",
							    "interests": [ "sports", "music" ]
							}

用Mysql这样的数据库存储就会容易想到建立一张User表，有各种各样的字段等，在Elasticsearch里这就是一个文档，当然这个文档会属于一个User的类型，各种各样的类型存在于一个索引当中。这里有一份简易的将Elasticsearch和关系型数据术语对照表:

	关系数据库     ⇒ 数据库 ⇒ 表    ⇒ 行    ⇒ 列(Columns)
	
	Elasticsearch  ⇒ 索引(Index)   ⇒ 类型(type)  ⇒ 文档(Docments)  ⇒ 字段(Fields)  

一些基本概念：

一. cluster：代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。

二. shards：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。

三. replicas：代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。

四. recovery：代表数据恢复或叫数据重新分布，es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。

五. river：代表es的一个数据源，也是其它存储方式（如：数据库）同步数据到es的一个方法。它是以插件方式存在的一个es服务，通过读取river中的数据并把它索引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia的。

六. gateway：代表es索引快照的存储方式，es默认是先把索引存放到内存中，当内存满了时再持久化到本地硬盘。gateway对索引快照进行存储，当这个es集群关闭再重新启动时就会从gateway中读取索引备份数据。es支持多种类型的gateway，有本地文件系统（默认），分布式文件系统，Hadoop的HDFS和amazon的s3云存储服务。

七. discovery.zen：代表es的自动发现节点机制，es是一个基于p2p的系统，它先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互。

八. Transport：代表es内部节点或集群与客户端的交互方式，默认内部是使用tcp协议进行交互，同时它支持http协议（json格式）、thrift、servlet、memcached、zeroMQ等的传输协议（通过插件方式集成）。

下载进行简单操作

安装

到官网下载压缩包 ：https://www.elastic.co/cn/downloads/elasticsearch
下载后解压
解压完成后双击bin目录下的elasticsearch.bat文件，默认端口是9200
启动完成之后，在浏览器中访问http://localhost:9200/，出现如下图所示内容表明Elasticsearch启动成功。

安装kibana

下载解压，注意要选择与es相同的版本号，修改/config/kibaba.yml文件（不修改的话外网无法通过ip访问）
将默认的server.host: “localhost” 改成server.host: “0.0.0.0”，以供外网访问。
如果elasticsearch不在该服务器或者说端口不是默认的9200端口的话还需要修改elasticsearch.url这个配置，将其设置为对应的elasticsearch的真实地址和端口。
启动，在浏览器中输入http://IP:5601会有对应的kibana界面显示。如下图：

到这里简单的认识和环境准备已经完事了，接下来用kibana简单操作一下ES。