elasticsearch简介
Elasticsearch 是一个开源的分布式搜索分析引擎,建立在一个全文搜索引擎库 Apache Lucene基础之上。
Elasticsearch 不仅仅是 Lucene,并且也不仅仅只是一个全文搜索引擎:
- 一个分布式的实时文档存储,每个字段 可以被索引与搜索
- 一个分布式实时分析搜索引擎
- 能胜任上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构化数
基础模块
模块 | 作用 |
---|---|
cluster | 管理集群状态,维护集群层面的配置信息。 |
alloction | 封装了分片分配相关的功能和策略。 |
discovery | 发现集群中的节点,以及选举主节点。 |
gateway | 对收到master广播下来的集群状态数据的持久化存储。 |
indices | 管理全局级的索引设置。 |
http | 允许通过JSON over HTTP的方式访问ES的API。 |
transport | 用于集群内节点之间的内部通信。 |
engine | 封装了对Lucene的操作及translog的调用。 |
elasticsearch应用场景
信息检索
日志分析
业务数据分析
数据库加速
运维指标监控
elasticsearch安装与配置
安装软件
软件下载:https://elasticsearch.cn/download/
安装软件 :rpm -ivh elasticsearch-7.6.1.rpm
设置服务自启: systemctl daemon-reload
systemctl enable elasticsearch
修改配置文件
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-es #集群名称
node.name: server1 #主机名需要解析
path.data: /var/lib/elasticsearch #数据目录
path.logs: /var/log/elasticsearch #日志目录
bootstrap.memory_lock: true #锁定内存分配
network.host: 172.25.1.1 #主机ip
http.port: 9200 #http服务端口
discovery.seed_hosts: ["server1", "server2", "server3"] #包括集群节点
cluster.initial master nodes: ["server1"]
修改系统限制
vim /etc/security/limits.conf
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch - nofile 65536
elasticsearch - nproc 4096
vim jvm.options
Xmx设置不超过物理RAM的50%,以确保有足够的物理RAM留给内核文件
系统缓存。但不要超过32G。
-Xms256m
-Xmx256m
修改systemd启动文件
vim /usr/lib/systemd/system/elasticsearch.service
[Service]
#在service语句块下添加
LimitMEMLOCK=infinity
systemctl daemon-reload
systemctl start elasticsearch
至此单个elasticsearch部署完成,现在我们开始搭建集群
elasticsearch分布式部署
以相同的方法再安装两个ES节点,并进行配置修改;
除以下配置外,其他配置和主节点配置相同
server2:
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-es #集群名称
node.name: server2 #主机名需要解析
path.data: /var/lib/elasticsearch #数据目录
path.logs: /var/log/elasticsearch #日志目录
bootstrap.memory_lock: true #锁定内存分配
network.host: 172.25.1.2 #主机ip
http.port: 9200 #http服务端口
discovery.seed_hosts: ["server1", "server2", "server3"] #包括集群节点
cluster.initial master nodes: ["server1"]
server3:
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-es #集群名称
node.name: server3 #主机名需要解析
path.data: /var/lib/elasticsearch #数据目录
path.logs: /var/log/elasticsearch #日志目录
bootstrap.memory_lock: true #锁定内存分配
network.host: 172.25.1.3 #主机ip
http.port: 9200 #http服务端口
discovery.seed_hosts: ["server1", "server2", "server3"] #包括集群节点
cluster.initial master nodes: ["server1"]
elasticsearch可视化
在宿主机podman上传镜像并拉起容器(等同于docker)
yum install podman -y
podman pull docker.io/lmenezes/cerebro
podman images
podman run -d --name cerbro -p 9000:9000 lmenezes/cerebro
网页访问:172.25.1.250:9000
输入需要监控的ip和端口号
elasticsearch节点角色
角色 | 含义 |
---|---|
Master | 主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索,所以负载较轻。当Master节点失联或者挂掉的时候,ES集群会自动从其他Master节点选举出一个Leader。 |
Data Node | 主要负责集群中数据的索引和检索,一般压力比较大。 |
Coordinating Node | 原来的Client node的,主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating node,且不能关闭该属性。 |
Ingest Node | 专门对索引的文档做预处理 |
elasticsearch节点优化
在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题。默认情况下,elasticsearch集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。节点角色是由以下属性控制:
• node.master: false|true
• node.data: true|false
• node.ingest: true|false
• search.remote.connect: true|false
默认情况下这些属性的值都是true。
- | - |
---|---|
node.master | 这个属性表示节点是否具有成为主节点的资格注意:此属性的值为true,并不意味着这个节点就是主节点。因为真正的主节点,是由多个具有主节点资格的节点进行选举产生的。 |
node.data | 这个属性表示节点是否存储数据。 |
node.ingest | 是否对文档进行预处理。 |
search.remote.connect | 是否禁用跨集群查询 |