【ELK系列一】ELK简介、elasticsearch安装部署

一、ELK的基本介绍

1、ELK日志协议栈

• ELK是三个软件产品的首字母缩写，Elasticsearch，Logstash 和 Kibana。这三款软件都是开源软件，通常是配合使用，而且又先后归于 Elastic.co 公司名下，故被简称为 ELK 协议栈。
• Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
• Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。
• Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch
  提供的日志分析友好的web UI界面，可以帮助汇总、分析、搜索重要数据日志。

名称	语言	描述
ElasticSearch	Java	实时的分布式搜索和分析引擎，他可以用于全文检索，结构化搜索以及分析，基于lucene、类似于Solr
Logstash	JRuby	具有实时渠道能力的数据收集引擎，包含输入、过滤、输出模块，一般在过滤模块中做日志格式化的解析工作
Kibana	JavaScript	为ElasticSerach提供分析平台和可视化的Web平台。他可以ElasticSerach的索引中查找，呼唤数据，并生成各种维度的表图

2、ELK日志协议栈整体架构

3、ELK的参考资料

ELK官网：https://www.elastic.co/
ELK官网文档：https://www.elastic.co/guide/index.html
ELK中文手册：https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
ELK中文社区：https://elasticsearch.cn/

二、Elasticsearch的安装、学习

1、关于Elasticsearch的简介

Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。

2、Elasticsearch在linux下的安装部署

第一步：创建普通用户

注意：ES不能使用root用户来启动，必须使用普通用户来安装启动。这里我使用以前创建的book用户来安装我们的es服务

第二步：下载并上传压缩包，然后解压

将es的安装包下载并上传到companynode01服务器的/book/soft，companynode01服务器使用es用户执行以下命令：

cd /book/soft/

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.0.tar.gz

tar -zxvf elasticsearch-6.7.0.tar.gz -C /book/install

第三步：修改配置文件

• 修改elasticsearch.yml
  companynode01服务器使用book用户来修改配置文件

cd /book/install/elasticsearch-6.7.0/config/

mkdir -p /book/install/elasticsearch-6.7.0/logs/

mkdir -p /book/install/elasticsearch-6.7.0/datas

vim elasticsearch.yml

修改为：

cluster.name: myes
node.name: companynode01
path.data: /book/install/elasticsearch-6.7.0/datas
path.logs: /book/install/elasticsearch-6.7.0/logs
network.host: 192.168.1.11
http.port: 9200
discovery.zen.ping.unicast.hosts: ["companynode01", "companynode02", "companynode03"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"

• 修改jvm.option
  修改jvm.option配置文件

cd /book/install/elasticsearch-6.7.0/config
vim jvm.options

根据服务器的内存大小修改：

-Xms3g
-Xmx3g

第四步：将安装包分发到其他服务器上面

companynode01使用book用户将安装包分发到其他服务器上面去

cd /book/install/
scp -r elasticsearch-6.7.0/ companynode02:$PWD
scp -r elasticsearch-6.7.0/ companynode03:$PWD

第五步：companynode02与companynode03修改es配置文件

companynode02与companynode03也需要修改es配置文件(你配置的所有服务器都修改)
companynode02使用book用户执行以下命令修改es配置文件

cd /book/install/elasticsearch-6.7.0/config/
vim elasticsearch.yml

示例：companynode02修改为（修改为你当前服务器的配置，主要是节点名称和host）：

cluster.name: myes
node.name: companynode02
path.data: /book/install/elasticsearch-6.7.0/datas
path.logs: /book/install/elasticsearch-6.7.0/logs
network.host: 192.168.1.12
http.port: 9200
discovery.zen.ping.unicast.hosts: ["companynode01", "companynode02", "companynode03"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"

所有的服务器都按照上述思路修改。

第六步：修改系统配置，解决启动时候的问题

由于现在使用普通用户来安装es服务，且es服务对服务器的资源要求比较多，包括内存大小，线程数等。所以我们需要给普通用户解开资源的束缚

问题一：普通用户打开文件的最大数限制

问题错误信息描述：
max file descriptors [4096] for elasticsearch process likely too low,
increase to at least [65536]

ES因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除linux系统当中打开文件最大数目的限制，不然ES启动就会抛错
所有机器使用book用户执行以下命令解除打开文件数据的限制

sudo vim /etc/security/limits.conf

修改为

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

问题二：普通用户启动线程数限制

三台机器执行以下命令打开文件最大数

sudo vim /etc/sysctl.conf

修改为：

vm.max_map_count=655360
fs.file-max=655360

执行以下命令生效

sudo sysctl -p

注意：以上两个问题修改完成之后，一定要重新连接linux生效。关闭secureCRT或者XShell工具，然后重新打开工具连接linux即可

重新连接之后执行以下命令，出现这个结果即可准备启动ES了

第七步：启动ES服务

所有机器使用book用户执行以下命令启动es服务

nohup /book/install/elasticsearch-6.7.0/bin/elasticsearch 2>&1 &

启动成功之后jsp即可看到es的服务进程，并且访问页面
http://companynode01:9200/?pretty

能够看到es启动之后的一些信息
注意：如果哪一台机器服务启动失败，那么就到哪一台机器配置的日志路径寻找错误，例如这里我的路径：

/book/install/elasticsearch-6.7.0/logs

在UI界面中出现如下图所示的界面，每台服务器都有即为成功启动