企业实战--ELK日志分析平台（elasticsearch搭建）

ELK代表的是 elasticsearch + logstash数据采集 + kibana可视化

一、elasticsearch简介

简介

Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。

Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎：

一个分布式的实时文档存储，每个字段 可以被索引与搜索
一个分布式实时分析搜索引擎
能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据

基础模块

基础模块

cluster：管理集群状态，维护集群层面的配置信息。
alloction：封装了分片分配相关的功能和策略。
discovery：发现集群中的节点，以及选举主节点。
gateway：对收到master广播下来的集群状态数据的持久化存储。
indices：管理全局级的索引设置。
http：允许通过JSON over HTTP的方式访问ES的API。
transport：用于集群内节点之间的内部通信。
engine：封装了对Lucene的操作及translog的调用。

应用场景

elasticsearch应用场景：

信息检索
日志分析
业务数据分析
数据库加速
运维指标监控

官网：https://www.elastic.co/cn/

软件下载：https://elasticsearch.cn/download/

二、elasticsearch安装与配置

server1 172.25.1.1 elasticsearch elasticsearch-head-master
server2 172.25.1.2 elasticsearch
server3 172.25.1.3 elasticsearch

首先在server1部署elasticsearch。

[root@server1 ~]# rpm -ivh elasticsearch-7.6.1-x86_64.rpm 

编辑配置文件：

[root@server1 ~]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# vim elasticsearch.yml 
cluster.name: my-es			#集群名称
node.name: server1			#主机名需要解析
path.data: /var/lib/elasticsearch	#数据目录
path.logs: /var/log/elasticsearch	#日志目录
bootstrap.memory_lock: true	#锁定内存分配
network.host: 172.25.1.1	#主机ip
http.port: 9200			#http服务端口
cluster.initial_master_nodes: ["server1"]

修改系统限制：

[root@server1 elasticsearch]# vim /etc/security/limits.conf
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch 	   - 	nofile 	65535
elasticsearch	   -	nproc 	4096

# vim jvm.options
-Xms1g
-Xmx1g

Xmx设置不超过物理RAM的50％，以确保有足够的物理RAM留给内核文件系统缓存。但不要超过32G。

修改systemd启动文件：

[root@server1 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service
[Service]		#在service语句块下添加
LimitMEMLOCK=infinity

swap关闭：

[

root@server1 elasticsearch]# swapoff -a
[root@server1 elasticsearch]# vim /etc/fstab
[root@server1 elasticsearch]# cat /etc/fstab 

#/dev/mapper/rhel-swap   swap                    swap    defaults        0 0

启动elasticsearch：

[root@server1 elasticsearch]# systemctl daemon-reload 
[root@server1 elasticsearch]# systemctl start elasticsearch.service

开启后查看端口，可以看出9200端口已经打开：

[root@server1 ~]# netstat -antlp | grep 9200
tcp6       0      0 172.25.1.1:9200         :::*                    LISTEN      13502/java  

物理机可以访问172.25.254.1:9200

三、使用elasticsearch-head-master图形界面操作elasticsearch

上面的elasticsearch安装好了之后就可以通过api来进行调用，也可以安装一个插件来进行图形化操作：

下载与解压：

[root@server1 ~]# yum install wget -y
[root@server1 ~]# wget https://github.com/mobz/elasticsearch-head/archive/master.zip
[root@server1 ~]# ls
elasticsearch-7.6.1-x86_64.rpm  master.zip
[root@server1 ~]# yum install unzip.x86_64 -y
[root@server1 ~]# unzip master.zip 
[root@server1 ~]# ls
elasticsearch-7.6.1-x86_64.rpm  elasticsearch-head-master  master.zip

head插件本质上是一个nodejs的工程，因此需要安装node：

[root@server1 ~]# wget https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/nodejs-9.11.2-1nodesource.x86_64.rpm
[root@server1 ~]# rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm
[root@server1 ~]# node -v
v9.11.2
[root@server1 ~]# npm -v
5.6.0

说明nodejs安装成功。

更换npm源安装：

[root@server1 ~]# cd elasticsearch-head-master/
[root@server1 elasticsearch-head-master]# npm install  --registry=https://registry.npm.taobao.org

在进行到这一步时比较慢，我们可以ctrl+c取消后手动下载phantomjs-2.1.1-linux-x86_64.tar.bz2：

[root@server1 phantomjs]# yum install  -y bzip2
[root@server1 phantomjs]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@server1 phantomjs]# ls
phantomjs-2.1.1-linux-x86_64
phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@server1 phantomjs]# cd phantomjs-2.1.1-linux-x86_64
[root@server1 phantomjs-2.1.1-linux-x86_64]# ls
bin  ChangeLog  examples  LICENSE.BSD  README.md  third-party.txt
[root@server1 phantomjs-2.1.1-linux-x86_64]# cd bin/
[root@server1 bin]# ls
phantomjs
[root@server1 bin]# mv phantomjs /usr/local/bin/
[root@server1 bin]# cd 
[root@server1 ~]# yum install fontconfig-2.13.0-4.3.el7.x86_64 -y

安装好之后就可以使用phantomjs命令：

[root@server1 ~]# phantomjs 
phantomjs> 

再次安装：

[root@server1 ~]# cd elasticsearch-head-master/
[root@server1 elasticsearch-head-master]# npm install  --registry=https://registry.npm.taobao.org

这次的速度特别快，接下来需要修改head
-master连接的ES主机的ip和端口

[root@server1 _site]# vim elasticsearch-head-master/_site/app.js 
将"http://localhost:9200"改为"http://172.25.1.1:9200"

启动插件，使其后台运行：

[root@server1 _site]# npm run start &

    

启动后可以直接在浏览器访问172.25.1.1:9100:

表示插件安装成功，但是点击连接时并不能连接集群，需要进行如下配置：

修改ES跨域支持，允许别的主机访问

[root@server1 _site]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# vim elasticsearch.yml 

http.cors.enabled: true	# 是否支持跨域
http.cors.allow-origin: "*"	# *表示支持所有域名

重启ES服务

systemctl restart elasticsearch.service 

    

重启后就可以进行正常连接：

四、部署elasticsearch集群

以相同的方法再安装两个ES节点

在server2和server3都安装elasticsearch，并进行配置：

server2与server3操作相同，只有nodename和ip不同

[root@server3 ~]# vim /etc/elasticsearch/elasticsearch.yml 
cluster.name: my-es
node.name: server3    主机名不同
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 172.25.1.3    ip不同
http.port: 9200
http.cors.enabled: true       跨域支持
http.cors.allow-origin: "*"
discovery.seed_hosts: ["server1", "server2", "server3"]
cluster.initial_master_nodes: ["server1","server2","server3"]

[root@server3 ~]#  vim /usr/lib/systemd/system/elasticsearch.service

[service]
LimitMEMLOCK=infinity

[root@server3 ~]# swapoff -a

[root@server3 ~]# vim /etc/fstab 
#/dev/mapper/rhel-swap   swap                    swap    defaults        0 0

[root@server3 ~]# vim /etc/security/limits.conf

elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch 	   - 	nofile 	65535
elasticsearch	   -	nproc 	4096

[root@server3 ~]#  systemctl daemon-reload 
[root@server3 ~]#  systemctl start elasticsearch.service 

同时还需要配置server1：

[root@server1 security]# vim /etc/elasticsearch/elasticsearch.yml
更改：
discovery.seed_hosts: ["server1", "server2", "server3"]
cluster.initial_master_nodes: ["server1","server2","server3"]

此时重启服务会报错，需要将server1的elasticsearch存储内容清理：

[root@server1 security]# cd /usr/share/elasticsearch/bin/
[root@server1 bin]# ./elasticsearch-node repurpose

再次重启：

[root@server1 ~]# systemctl restart elasticsearch.service 

在网页段进行刷新：

五、elasticsearch节点优化

elasticsearch节点角色

Master（主节点）：
主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。

Data Node（数据节点）：
主要负责集群中数据的索引和检索，一般压力比较大。

Coordinating Node（调度节点）：
原来的Client node的，主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating node，且不能关闭该属性。

Ingest Node：
专门对索引的文档做预处理

elasticsearch节点优化

在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。
默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。
节点角色是由以下属性控制：

node.master:  false|true		
node.data:  true|false
node.ingest:  true|false 
search.remote.connect: true|false

默认情况下这些属性的值都是true。

node.master：这个属性表示节点是否具有成为主节点的资格
注意：此属性的值为true，并不意味着这个节点就是主节点。
因为真正的主节点，是由多个具有主节点资格的节点进行选
举产生的。
node.data：这个属性表示节点是否存储数据。
node.ingest: 是否对文档进行预处理。
search.remote.connect：是否禁用跨集群查询

第一种组合：（默认）

node.master: true
node.data: true
node.ingest:  true
search.remote.connect: true

这种组合表示这个节点即有成为主节点的资格，又存储数据。
如果某个节点被选举成为了真正的主节点，那么他还要存储数据，这样对于这个节点的压力就比较大了。
测试环境下这样做没问题，但实际工作中不建议这样设置。

第二种组合：（Data node）

node.master: false
node.data: true
node.ingest: false
search.remote.connect: false

这种组合表示这个节点没有成为主节点的资格，也就不参与选举，只会存储数据。
这个节点称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。

第三种组合：（master node）

node.master: true
node.data: false
node.ingest: false
search.remote.connect: false

这种组合表示这个节点不会存储数据，有成为主节点的资格，可以参与选举，有可能成为真正的主节点。
这个节点我们称为master节点。

第四种组合：（Coordinating Node）

node.master: false
node.data: false
node.ingest: false
search.remote.connect: false

这种组合表示这个节点即不会成为主节点，也不会存储数据，
这个节点的意义是作为一个协调节点，主要是针对海量请求的时候可以进行负载均衡。

第五种组合：（Ingest Node）

node.master: false
node.data: false
node.ingest: true
search.remote.connect: false

这种组合表示这个节点即不会成为主节点，也不会存储数据，
这个节点的意义是ingest节点，对索引的文档做预处理。

生产集群中可以对这些节点的职责进行划分

建议集群中设置3台以上的节点作为master节点，这些节点只负责成为主节点，维护整个集群的状态。

再根据数据量设置一批data节点，这些节点只负责存储数据，后期提供建立索引和查询索引的服务，这样的话如果用户请求比较频繁，这些节点的压力也会比较大。
所以在集群中建议再设置一批协调节点，这些节点只负责处理用户请求，实现请求转发，负载均衡等功能。

如我们将server1设置为master节点，将server2和server3设置为数据节点,需要进行如下配置：

[root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml 

node.master: true
node.data: false
node.ingest: false
search.remote.connect: false

[root@server1 ~]# systemctl restart elasticsearch.service 

[root@server2 ~]# vim /etc/elasticsearch/elasticsearch.yml 

node.master: true
node.data: true
node.ingest: false
search.remote.connect: false

[root@server2 ~]# systemctl restart elasticsearch.service 

[root@server3 ~]# vim /etc/elasticsearch/elasticsearch.yml 

node.master: true
node.data: true
node.ingest: false
search.remote.connect: false

[root@server3 ~]# systemctl restart elasticsearch.service 

节点需求

master节点：普通服务器即可(CPU、内存 消耗一般)
data节点：主要消耗磁盘、内存。
path.data: data1,data2,data3
这样的配置可能会导致数据写入不均匀，建议只指定一个数据路径，磁盘可以使用raid0阵列，而不需要成本高的ssd。
Coordinating节点：对cpu、memory要求较高。