ELK日志分析平台(1)---elasticsearch

一、elasticsearch实战

开源分布式搜索分析引擎，及爱能力在一个全文搜索引擎库apache lucene基础之上
elasticsearch不仅仅是lucene，并且也不仅仅只是一个全文搜索引擎：
一个分布式的斯和斯文档存储，每个字段可以被索引和搜索
一个分布式实时分析搜索引擎
能胜任上百个服务节点的扩展，并支持PB级别的结构化或者非结构化数据。

基础模块：

cluster	管理集群状态，维护集群层面的配置信息
alloction	封装量分片分配相关的功能和策略
discovery	发现集群中的节点，以及选举主节点
gateway	对收到的master广播下来的集群状态数据的持久化存储
indices	管理全局级的索引设置
http	允许通过JSON over HTTP的方式访问ES的API
transport	用于集群内节点之间的内部通信
engine	封装了对lucene的操作及translog的调用

elasticsearch应用场景：
信息检索
日志分析
业务数据分析
数据库加速
运维指标监控

官网: https://www.elastic.co/cn/

1、安装
https://elasticsearch.cn/download

[root@server1 elk]# rpm -ivh elasticsearch-7.7.0-x86_64.rpm 
[root@server1 elk]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# vim elasticsearch.yml 		#安装配置文件
cluster.name: my-es											#指定集群
node.name: server4											#指定节点
bootstrap.memory_lock: true									#锁定内存
network.host: 172.25.1.1									#监听端口
http.port: 9200
discovery.seed_hosts: ["server1", "server3","server5"]      #必须要有一个，不然服务起不来

[root@server1 elasticsearch]# vim /etc/security/limits.conf 
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch - nofile 65535
elasticsearch - nproc  4096

[root@server1 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service
LimitNPROC=4096
LimitMEMLOCK=infinity

[root@server1 elasticsearch]# swapoff -a			#禁掉swap分区
[root@server1 elasticsearch]# netstat -antlp

2、图形化操作
(1)安装

[root@server1 elk]# ls
elasticsearch-7.7.0-x86_64.rpm  elasticsearch-head-master  nodejs-9.11.2-1nodesource.x86_64.rpm
https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/		#下载地址
[root@server1 elk]# yum install -y nodejs-9.11.2-1nodesource.x86_64.rpm 
[root@server1 elk]# node -v
v9.11.2
[root@server1 elk]# npm -v
5.6.0

yum install unzip
unzip elasticsearch-head-master.zip
cd elasticsearch-head-master
npm install --registry=https://registry.npm.taobao.org

yum install -y bzip2
tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 
cd phantomjs-2.1.1-linux-x86_64/bin/
mv phantomjs /usr/local/bin/
phantomjs 
yum provides */libfontconfig.so.1
yum install -y fontconfig-2.13.0-4.3.el7.x86_64
phantomjs 
cd /root/elk/elasticsearch-head-master

npm install --registry=https://registry.npm.taobao.org

（2）启动

[root@server1 elasticsearch-head-master]# cd _site/
[root@server1 _site]# ls
app.css  app.js  background.js  base  fonts  i18n.js  index.html  lang  manifest.json  vendor.css  vendor.js
[root@server1 _site]# vim app.js 
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://172.25.1.1:9200";
[root@server1 elasticsearch-head-master]# npm run start &

网页搜索连接：http://172.25.1.1:9100/
发现不能连接

（3）修改ES跨域主持

[root@server1 elasticsearch-head-master]# vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true
http.cors.allow-origin: "*"
[root@server1 elasticsearch-head-master]# systemctl restart elasticsearch

连接未成功修改配置文件

[root@server1 elasticsearch]# vim elasticsearch.yml 

discovery.seed_hosts: ["server1", "server3","server5"]
#
#Bootstrap the cluster using an initial set of master-eligible nodes:
#
cluster.initial_master_nodes: ["server1"]
[root@server1 elasticsearch]# systemctl restart elasticsearch

修改后成功连接

（4）添加主机节点(操作步骤和之前一样)

[root@server3 ~]# cd elk/
[root@server3 elk]# ls
elasticsearch-7.7.0-x86_64.rpm
[root@server3 elk]# rpm -ivh elasticsearch-7.7.0-x86_64.rpm 

[root@server5 ~]# cd elk/
[root@server5 elk]# ls
elasticsearch-7.7.0-x86_64.rpm
[root@server5 elk]# rpm -ivh elasticsearch-7.7.0-x86_64.rpm

[root@server1 elasticsearch]# scp -p elasticsearch.yml server3:/etc/elasticsearch/elasticsearch.yml
[root@server1 elasticsearch]# scp -p elasticsearch.yml server5:/etc/elasticsearch/elasticsearch.yml
更改自己的主机名及ip地址
discovery.seed_hosts: ["server1", "server3","server5"]
#
#Bootstrap the cluster using an initial set of master-eligible nodes:
#
cluster.initial_master_nodes: ["server1","server3","server5"]

[root@server1 security]# scp limits.conf server3:/etc/security/limits.conf 
[root@server1 security]# scp limits.conf server5:/etc/security/limits.conf 
[root@server3 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service
LimitNPROC=4096
LimitMEMLOCK=infinity
[root@server5 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service
LimitNPROC=4096
LimitMEMLOCK=infinity

[root@server3 elk]# systemctl start elasticsearch
[root@server3 elk]# 
[root@server2 elk]#  systemctl restart elasticsearch

elasticsearch节点角色
Master：主要负责集群中索引的创建、删除以及数据u的rebalance等操作。Master不负责数据的索引及检索，所以负载较轻，当master节点失联或者挂掉时，ES集群会自动从其他master节点中选取一个leader
Date Node:主要负责集群中数据的索引与检索，一般压力比较大
Coordinating Node:原来Client node的，主要的功能是来分发请求和合并结果，所有节点默认就是Coordinating Node，且不能关闭该属性
Ingest Node:专门对索引的文档做预处理

3、对节点进行优化
默认三个节点都可以作为master，对三个节点进行优化，分清除各自角色

(1)
在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题.默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。
节点角色是由以下属性控制：

node.master	false/true
node.master	false/true
node.ingest	true/false
search.remote.connect	true/false

默认情况下这些属性的值都是true。

(2)

node.master	这个属性表示节点是否具有成为主节点的资格注意：此属性的值为true，并不意味着这个节点就是主节点。因为真正的主节点，是由多个具有主节点资格的节点进行选举产生的。
node.data	这个属性表示节点是否存储数据
node.ingest	是否对文档进行预处理
search.remote.connect	是否禁用跨集群查询

(3)
第一种组合：（默认）
node.master: true
node.data: true
node.ingest: true
search.remote.connect: true
这种组合表示这个节点即有成为主节点的资格，又存储数据.如果某个节点被选举成为了真正的主节点，那么他还要存储数据，这样对于这个节点的压力就比较大了。测试环境下这样做没问题，但实际工作中不建议这样设置。
（4）
第二种组合：（Data node）
node.master: false
node.data: true
node.ingest: false
search.remote.connect: false
这种组合表示这个节点没有成为主节点的资格，也就不参与选举，只会存储数据。
这个节点称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。

（5）
第三种组合：（master node）
node.master: true
node.data: false
node.ingest: false
search.remote.connect: false
这种组合表示这个节点不会存储数据，有成为主节点的资格，可以参与选举，有可能成为真正的主节点。
这个节点我们称为master节点。

（6）
第四种组合：（Coordinating Node）
node.master: false
node.data: false
node.ingest: false
search.remote.connect: false
这种组合表示这个节点即不会成为主节点，也不会存储数据，
这个节点的意义是作为一个协调节点，主要是针对海量请求的时候可以进行负载均衡。

（7）
第五种组合：（Ingest Node）
node.master: false
node.data: false
node.ingest: true
search.remote.connect: false
这种组合表示这个节点即不会成为主节点，也不会存储数据，
这个节点的意义是ingest节点，对索引的文档做预处理。

生产集群中可以对这些节点的职责进行划分
建议集群中设置3台以上的节点作为master节点，这些节点只负责成为主节点，维护整个集群的状态。
再根据数据量设置一批data节点，这些节点只负责存储数据，后期提供建立索引和查询索引的服务，这样的话如果用户请求比较频繁，这些节点的压力也会比较大。
所以在集群中建议再设置一批协调节点，这些节点只负责处理用户请求，实现请求转发，负载均衡等功能。

节点需求
master节点：普通服务器即可(CPU、内存 消耗一般)
data节点：主要消耗磁盘、内存。
path.data: data1,data2,data3
这样的配置可能会导致数据写入不均匀，建议只指定一个数据路径，磁盘可以使用raid0阵列，而不需要成本高的ssd。
Coordinating节点：对cpu、memory要求较高

实验
server1:

[root@server1 elasticsearch]# vim elasticsearch.yml 
node.name: server1
node.master: true
node.data: false
node.ingest: false
search.remote.connect: false
[root@server1 elasticsearch]# systemctl restart elasticsearch

server2\3:

[root@server2 elasticsearch]# vim elasticsearch.yml 
node.master: true
node.data: true
node.ingest: false
search.remote.connect: false
[root@server2 elasticsearch]# systemctl restart elasticsearch

#设置成功后主节点变为server1