ELK日志分析平台------elasticsearch实战

elasticsearch简介

Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。
Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎：

• 一个分布式的实时文档存储，每个字段 可以被索引与搜索
• 一个分布式实时分析搜索引擎
• 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数

基础模块

模块	作用
cluster	管理集群状态，维护集群层面的配置信息。
alloction	封装了分片分配相关的功能和策略。
discovery	发现集群中的节点，以及选举主节点。
gateway	对收到master广播下来的集群状态数据的持久化存储。
indices	管理全局级的索引设置。
http	允许通过JSON over HTTP的方式访问ES的API。
transport	用于集群内节点之间的内部通信。
engine	封装了对Lucene的操作及translog的调用。

elasticsearch应用场景

信息检索
日志分析
业务数据分析
数据库加速
运维指标监控

elasticsearch安装与配置

安装软件

软件下载：https://elasticsearch.cn/download/

安装软件 ：rpm -ivh elasticsearch-7.6.1.rpm
设置服务自启： systemctl daemon-reload
							systemctl enable elasticsearch

修改配置文件

vim /etc/elasticsearch/elasticsearch.yml

cluster.name: my-es #集群名称
node.name: server1 #主机名需要解析
path.data: /var/lib/elasticsearch #数据目录
path.logs: /var/log/elasticsearch #日志目录
bootstrap.memory_lock: true #锁定内存分配
network.host: 172.25.1.1 #主机ip
http.port: 9200 #http服务端口
discovery.seed_hosts: ["server1", "server2", "server3"] #包括集群节点
cluster.initial master nodes: ["server1"]

修改系统限制

vim /etc/security/limits.conf

elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch - nofile 65536
elasticsearch - nproc 4096

vim jvm.options
Xmx设置不超过物理RAM的50％，以确保有足够的物理RAM留给内核文件
系统缓存。但不要超过32G。

-Xms256m
-Xmx256m

修改systemd启动文件

vim /usr/lib/systemd/system/elasticsearch.service

[Service]
#在service语句块下添加
LimitMEMLOCK=infinity

systemctl daemon-reload
systemctl start elasticsearch

至此单个elasticsearch部署完成，现在我们开始搭建集群

elasticsearch分布式部署

以相同的方法再安装两个ES节点，并进行配置修改；
除以下配置外，其他配置和主节点配置相同

server2:
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-es #集群名称
node.name: server2 #主机名需要解析
path.data: /var/lib/elasticsearch #数据目录
path.logs: /var/log/elasticsearch #日志目录
bootstrap.memory_lock: true #锁定内存分配
network.host: 172.25.1.2 #主机ip
http.port: 9200 #http服务端口
discovery.seed_hosts: ["server1", "server2", "server3"] #包括集群节点
cluster.initial master nodes: ["server1"]

server3:
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-es #集群名称
node.name: server3 #主机名需要解析
path.data: /var/lib/elasticsearch #数据目录
path.logs: /var/log/elasticsearch #日志目录
bootstrap.memory_lock: true #锁定内存分配
network.host: 172.25.1.3 #主机ip
http.port: 9200 #http服务端口
discovery.seed_hosts: ["server1", "server2", "server3"] #包括集群节点
cluster.initial master nodes: ["server1"]

elasticsearch可视化

在宿主机podman上传镜像并拉起容器（等同于docker）

  yum install podman -y
  podman pull docker.io/lmenezes/cerebro
  podman images
  podman run -d --name cerbro -p 9000:9000 lmenezes/cerebro

网页访问：172.25.1.250:9000
输入需要监控的ip和端口号

elasticsearch节点角色

角色	含义
Master	主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。
Data Node	主要负责集群中数据的索引和检索，一般压力比较大。
Coordinating Node	原来的Client node的，主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating node，且不能关闭该属性。
Ingest Node	专门对索引的文档做预处理

elasticsearch节点优化

在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。节点角色是由以下属性控制：
• node.master: false|true
• node.data: true|false
• node.ingest: true|false
• search.remote.connect: true|false
默认情况下这些属性的值都是true。

-	-
node.master	这个属性表示节点是否具有成为主节点的资格注意：此属性的值为true，并不意味着这个节点就是主节点。因为真正的主节点，是由多个具有主节点资格的节点进行选举产生的。
node.data	这个属性表示节点是否存储数据。
node.ingest	是否对文档进行预处理。
search.remote.connect	是否禁用跨集群查询