ELK7.4+filebeat+Redis分析nginx服务访问日志

版本控制

版本	作者	日期	修改记录	备注
V1.0	Mr.Wu	2019-10-13	初始创建

一、部署规划

Ip地址	主机名	内存配置	角色	软件版本（yum安装JDK环境即可）
10.1.1.21	kibana	≥ 2G	kibana	kibana-7.4.0-x86_64.rpm
10.1.1.22	elk1	≥ 2G	elasticsearch01+es-head插件	elasticsearch-7.4.0-linux-x86_64.tar
10.1.1.23	elk2	≥ 2G	elasticsearch02	elasticsearch-7.4.0-linux-x86_64.tar
10.1.1.24	logs	≥ 2G	logstash	logstash-7.4.0.rpm
10.1.1.25	redis	≥ 1G	redis	yum安装即可
10.1.1.26	fbeat	≥ 1G	nginx+filebeat	filebeat-7.4.0-x86_64.rpm nginx可通过yum安装

二、环境说明

1. 系统版本

CentOS Linux release 7.6.1810 (Core) x86_64

2. 软件版本

2.1 kibana 版本

kibana-7.4.0-x86_64.rpm

2.2 elasticsearch 版本

elasticsearch-7.4.0-linux-x86_64.tar

2.3 logstash 版本

logstash-7.4.0.rpm

2.4 filebeat 版本

filebeat-7.4.0-x86_64.rpm

3. 系统初始化

3.1 关闭防火墙及selinx

在所有虚拟机上进行以下操作：
	# systemctl stop iptables
	# sed -i '/SELINUX=enforcing/cSELINUX=disabled' /etc/selinux/config

3.2 关闭 NetworkManager 服务

在所有虚拟机上进行以下操作：
	# systemctl stop NetworkManager
	# systemctl disable NetworkManager

3.3 配置ali网络源

在所有虚拟机上进行以下操作：
	# vim /etc/yum.repos.d/aliyun.repo
		[aliyun]
		name=this is aliyun yum
		baseurl=http://mirrors.aliyun.com/centos/6/os/x86_64/
		enabled=1
		gpgcheck=0

三、配置 elasticsearch 集群

1. yum安装 Java 环境

在 elk1 和 elk2 两台虚拟机上进行：
	# yum install java -y
	# java -version
			openjdk version "1.8.0_222-ea"
			OpenJDK Runtime Environment (build 1.8.0_222-ea-b03)
			OpenJDK 64-Bit Server VM (build 25.222-b03, mixed mode)

2. 下载 elasticsearch 二进制安装包并解压安装

在 elk1 和 elk2 两台虚拟机上进行：
	# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.0-linux-x86_64.tar.gz
	# tar xf elasticsearch-7.4.0-linux-x86_64.tar.gz -C /usr/local
	# cd /usr/local
	# mv elasticsearch-7.4.0/  elasticsearch

3. 修改 elk1 的配置文件

[root@elk1 /]# vim /usr/local/elasticsearch/config/elasticsearch.yml

*** elk1 配置文件解析

[root@elk1 /]# grep -Ev  '^$|^#'   /usr/local/elasticsearch/config/elasticsearch.yml

4. 修改 elk2 的配置文件

[root@elk2 /]# vim /usr/local/elasticsearch/config/elasticsearch.yml

*** elk2 配置文件解析

[root@elk2 /]#  grep -Ev  '^$|^#'   /usr/local/elasticsearch/config/elasticsearch.yml

5. 启动 es 集群

在 elk1 和 elk2 两台虚拟机上进行：
	# useradd -s /sbin/nologin -r elk
	# chown -R elk. /usr/local/elasticsearch/
	# sudo -u elk /usr/local/elasticsearch/bin/elasticsearch -d
查看端口
	# netstat -ntlup |grep java

*** 服务启动故障排错

故障1： [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
排除： 修改/etc/security/limits.conf文件，增加以下两行配置，重新执行启动任务
		*    soft    nofile          65536
		*    hard    nofile          65536

故障2： [2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
排除：	修改/etc<