企业项目实战---ELK日志分析平台之elasticsearch（一）

elasticsearch实战

1.elasticsearch简介

Elasticsearch 是一个开源的分布式搜索分析引擎,建立在一个全文搜索引擎库 Apache Lucene基础之上。

Elasticsearch 不仅仅是 Lucene,并且也不仅仅只是一个全文搜索引擎:

• 一个分布式的实时文档存储,每个字段 可以被索引与搜索
• 一个分布式实时分析搜索引擎
• 能胜任上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构化数据

基础模块

• cluster:管理集群状态,维护集群层面的配置信息。
• alloction:封装了分片分配相关的功能和策略。
• discovery:发现集群中的节点,以及选举主节点。
• gateway:对收到master广播下来的集群状态数据的持久化存储。
• indices:管理全局级的索引设置。
• http:允许通过JSON over HTTP的方式访问ES的API。
• transport:用于集群内节点之间的内部通信。
• engine:封装了对Lucene的操作及translog的调用。

elasticsearch应用场景:

• 信息检索
• 日志分析
• 业务数据分析
• 数据库加速
• 运维指标监控

2.elasticsearch安装与配置

server3/4/5安装软件

#7.6版本自带jdk
rpm -ivh elasticsearch-7.6.1.rpm

修改配置文件 ，构建elasticsearch集群，成员server3/4/5

# vim /etc/elasticsearch/elasticsearch.yml

cluster.name: my-es        #集群名称
node.name: server3         #当前主机名
path.data: /var/lib/elasticsearch #数据目录
path.logs: /var/log/elasticsearch #日志目录
network.host: 0.0.0.0             #主机ip
http.port: 9200                   #http服务端口
discovery.seed_hosts: ["server3", "server4", "server5"]  #集群节点（server3/4/5）
cluster.initial_master_nodes: ["server3"]                #集群主节点 server3

启动服务，开机自启

systemctl enable --now elasticsearch

查看9200端口

访问获取节点信息 172.25.3.3:9200 172.25.3.4:9200 172.25.3.5:9200

查看日志

3.elasticsearch插件安装

head插件本质上是一个nodejs的工程,因此需要安装node-js支持软件

下载elasticsearch-head插件，解压插件压缩包

wget https://github.com/mobz/elasticsearch-head/archive/master.zip
unzip elasticsearch-head-master.zip

进入目录，指定npm源安装

查看配置文件，es数据获取地址为 http://localhost:9200

vim _site/app.js

修改ES跨域主持

# vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true   # 是否支持跨域

http.cors.allow-origin: "*"   # *表示支持所有域名

重启ES服务

# systemctl restart elasticsearch.service

运行elasticsearch-head，打入后台

cnpm run start &

访问网页 172.25.3.3:9100,输入http：//172.25.3.3:9200连接es集群，查看到集群信息

4.cerebro可视化容器

导入cerebro镜像，部署容器，开放9000端口

查看9000端口

访问 172.25.3.3:9100

5.elasticsearch节点优化

节点角色

Master:

• 主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索,所以负载较轻。当Master节点失联或者挂掉的时候,ES集群会自动从其他Master节点选举出一个Leader。

Data Node:

• 主要负责集群中数据的索引和检索,一般压力比较大。

Coordinating Node:

• 原来的Client node的,主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating node,且不能关闭该属性。

Ingest Node:

• 专门对索引的文档做预处理

在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题。

• 默认情况下,elasticsearch集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。

节点角色是由以下属性控制，默认情况下这些属性的值都是true。:

• node.master: false|true
• node.data: true|false
• node.ingest: true|false
• search.remote.connect: true|false

其他属性

• node.master:这个属性表示节点是否具有成为主节点的资格
  注意:此属性的值为true,并不意味着这个节点就是主节点。因为真正的主节点,是由多个具有主节点资格的节点进行选举产生的。
• node.data:这个属性表示节点是否存储数据。
• node.ingest: 是否对文档进行预处理。
• search.remote.connect:是否禁用跨集群查询

节点组合

生产集群中可以对这些节点的职责进行划分

• 建议集群中设置3台以上的节点作为master节点,这些节点只负责成为主节点,维护整个集群的状态。
• 再根据数据量设置一批data节点,这些节点只负责存储数据,后期提供建立索引和查询索引的服务,这样的话如果用户请求比较频繁,这些节点的压力也会比较大。
• 所以在集群中建议再设置一批协调节点,这些节点只负责处理用户请求,实现请求转发,负载均衡等功能。

节点需求

• master节点:普通服务器即可(CPU、内存 消耗一般)
• data节点:主要消耗磁盘、内存。
• path.data: data1,data2,data3
  这样的配置可能会导致数据写入不均匀,建议只指定一个数据路径,磁盘可以使用raid0阵列,而不需要成本高的ssd。
• Coordinating节点:对cpu、memory要求较高。

node.data false

在server3主配置文件内加入node.data: false,设置server3无data