ELK日志分析平台——Elasticsearch分布式搜索分析引擎的安装与配置

一、Elasticsearch简介

1、简介

• Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。
• Elasticsearch 不仅仅是 Lucene，也不仅仅只是一个全文搜索引擎：
  • 一个分布式的实时文档存储，每个字段可以被索引与搜索
  • 一个分布式实时分析搜索引擎
  • 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据

官网：https://www.elastic.co/cn/

2、基础模块

• cluster：管理集群状态，维护集群层面的配置信息。
• alloction：封装了分片分配相关的功能和策略。
• discovery：发现集群中的节点，以及选举主节点。
• gateway：对收到master广播下来的集群状态数据的持久化存储。
• indices：管理全局级的索引设置。
• http：允许通过JSON over HTTP的方式访问ES的API。
• transport：用于集群内节点之间的内部通信。
• engine：封装了对Lucene的操作及translog的调用。

3、Elasticsearch应用场景：

• 信息检索
• 日志分析
• 业务数据分析
• 数据库加速
• 运维指标监控

二、Elasticsearch安装与配置

1、软件下载与安装

• 软件下载：
  https://elasticsearch.cn/download/
• 安装软件

rpm -ivh jdk-8u171-linux-x64.rpm
rpm -ivh elasticsearch-7.6.1.rpm	##7.6版本自带jdk

2、配置服务

• 设置服务自启：

systemctl daemon-reload
systemctl enable elasticsearch

• 修改配置文件：

vim /etc/elasticsearch/elasticsearch.yml
##修改
cluster.name: my-es					##集群名称
node.name: server1					##主机名需要解析
path.data: /var/lib/elasticsearch	##数据目录
path.logs: /var/log/elasticsearch	##日志目录
bootstrap.memory_lock: true			##锁定内存分配
network.host: 172.25.254.51			##主机ip
http.port: 9200						##http服务端口
cluster.initial_master_nodes: ["server1"]

• 修改系统限制

vim /etc/security/limits.conf
##写入
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch 	   - 	nofile 	65536
elasticsearch	   -	nproc 	4096

vim jvm.options
##写入
-Xms1g
-Xmx1g

Xmx设置不超过物理RAM的50％，以确保有足够的物理RAM留给内核文件系统缓存，但不要超过32G。



注意：elasticsearch - nofile 65536的值65536必须小于fs.file-max = 200128的值200128

• 禁用swap分区：
  
  
• 修改systemd启动文件

vim /usr/lib/systemd/system/elasticsearch.service
##写入
[Service]		##在service语句块下添加
LimitMEMLOCK=infinity

systemctl daemon-reload
systemctl start elasticsearch

3、测试

curl 172.25.254.51:9200

三、Elasticsearch插件安装

1、下载安装

• 下载elasticsearch-head插件：

wget https://github.com/mobz/elasticsearch-head/archive/master.zip
unzip elasticsearch-head-master.zip

• head插件本质上是一个nodejs的工程，因此需要安装node：

wget https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/nodejs-9.11.2-1nodesource.x86_64.rpm
rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm

node -v
npm -v	

2、配置

• 更换npm源安装：

cd elasticsearch-head-master/
npm install  --registry=https://registry.npm.taobao.org

• 修改ES主机ip和端口：

vim _site/app.js
##修改
"http://172.25.254.51:9200"

• 启动head插件：

npm run start &

• 修改ES跨域支持：

vim /etc/elasticsearch/elasticsearch.yml
##写入
http.cors.enabled: true	# 是否支持跨域
http.cors.allow-origin: "*"	# *表示支持所有域名

• 重启ES服务：

systemctl restart elasticsearch.service

3、状态查看

• 访问head插件服务：
  在浏览器访问172.25.254.51：9100（elasticsearch-head下Gruntfile.js文件，默认监听在9100端口）
• 创建索引查看：
  
• 查看ES状态：
  灰色标识没有副本
  黄色代表没有主分片丢失