Linux搭建ELK日志分析系统

1.基础环境

操作系统：本次搭建使用CentOS或Amazon linux等可以使用rpm命令的操作系统，使用其他操作系统在某些步骤进行适配性修改即可

版本信息：ElasticSearch 6.8.10、Kibana 6.8.10

2.ElasticSearch安装

2.1JDK安装

可以选择在JDK官网下载或者从其他途径下载均可。

JDK官网地址：

https://www.oracle.com/java/technologies/javase-jdk11-downloads.html

注意：需要登录Oracle才能下载，可以注册一个账号使用。

选择JAVA8中的Linux 64位的rpm包，点击下载

 将下载的JDK安装包上传至服务器/data/software目录，然后rpm直接安装JDK：

rpm -ivh /data/software/jdk-8u351-linux-x64.rpm

完成后输入java -version可以看到以下输出：

配置java环境变量：

vim /etc/profile

在末尾增加以下内容：

export JAVA_HOME=/usr/java/jdk1.8.0_351-amd64
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

wq保存退出后，输入命名生效：

source /etc/profile

配置连接shell窗口自动source /etc/profile，需要vim /etc/bashrc文件，添加相应内容：

vim /etc/bashrc

#在文件末尾添加下面的内容
source /etc/profile

wq保存退出后，下次连接shell窗口时会自动生效。

2.2下载ElasticSearch安装包

在服务器上使用wget命令下载tar.gz包：

wget  https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.10.tar.gz

也可以在官网中下载，下载地址Elasticsearch 6.8.10 | Elastic

 解压安装包至/data目录：

tar -zxvf elasticsearch-6.8.10.tar.gz -C /data

2.3配置文件修改

解压完成后，ES的目录为/data/elasticsearch-6.8.10

创建数据目录、日志目录：

mkdir -p /data/elasticsearch-6.8.10/data
mkdir -p /data/elasticsearch-6.8.10/logs

注：本次搭建我们只搭建了ES单机版，如需搭建ES集群，可参考文章：

Linux搭建ElasticSearch(ES)集群并设置密码登录_es集群设置密码_干运维的yds的博客-CSDN博客

编辑elasticsearch.yml，开始修改ElasticSearch服务的配置：

vim /data/elasticsearch-6.8.10/config/elasticsearch.yml

文件中需要添加或修改的内容如下（配置文件中默认全都是备注掉的，需要添加）：

path.data: /data/elasticsearch-6.8.10/data    #ES集群数据目录
path.logs: /data/elasticsearch-6.8.10/logs    #ES集群日志目录
 
network.host: 0.0.0.0    #配置0.0.0.0允许其他地址访问
http.port: 9200    #对外访问端口
transport.tcp.port: 9300
transport.tcp.compress: true
 
http.cors.enabled: true    #允许跨域访问
http.cors.allow-origin: "*"

其他配置修改，主要是修改jvm的运行内存大小，可以根据实际情况按需修改：

vim /data/elasticsearch-6.8.10/config/jvm.options

修改其中的以下两条，根据实际情况按需修改：

-Xms1g
-Xmx1g

系统参数修改：

vim /etc/security/limits.conf

在末尾增加以下内容：

*                soft    nofile          65536
*                hard    nofile          65536
*                soft    nproc           4096
*                hard    nproc           4096

修改/etc/sysctl.conf配置：

vim /etc/sysctl.conf

添加如下内容：

vm.max_map_count=655360

修改完成保存生效：

sysctl -p

2.4创建ElasticSearch运行用户、启动服务

由于ES集群不允许root用户运行，需要创建ES运行用户：

# 创建用户组
groupadd es
# 创建用户并添加至用户组
useradd es -g es 
# 更改用户密码（输入 es）
passwd es

修改目录权限：

sudo chown -R es:es  /data/elasticsearch-6.8.10

切换用户：

su es

启动服务：

cd /data/elasticsearch-6.8.10/bin
./elasticsearch -d    #-d是后台启动，第一次启动时可以不加-d，查看启动的日志情况

启动后输入jps可以查看到服务状态

启动完成后，可以在浏览器访问http://节点IP地址:9200/_cat/health?v查看状态

 也可以直接访问http://节点IP地址:9200查看服务情况

 

3.ElasticSearch-Head插件安装

3.1安装node.js

注意运行完ES后要切换回root用户

安装依赖

yum -y install gcc gcc-c++ openssl-devel

下载安装包、解压至/data目录

wget http://nodejs.org/dist/v13.9.0/node-v13.9.0-linux-x64.tar.gz

tar -zxvf node-v13.9.0-linux-x64.tar.gz -C /data

配置全局变量并生效

vim /etc/profile

#在末尾加入以下内容

export PATH=$PATH:/data/node-v13.9.0-linux-x64/bin

#wq保存退出后，输入命令生效
source /etc/profile

验证，能看到输出版本号信息则成功

node -v
npm -v

 

 3.2安装ElasticSearch-Head插件

下载安装包，可以选择去github上下载然后再上传至服务器中，也可以直接安装git命令后，直接下载到服务器上，这里我们选择git下载。

安装git命令

yum install -y git

git clone拉取部署包，我们直接在/data目录下拉取

git clone https://github.com/e-lionel/elasticsearch-head.git

配置修改，vim编辑Gruntfile.js文件

#进入文件夹，编辑文件
cd /data/elasticsearch-head
vim Gruntfile.js

在此处添加内容：

hostname: '0.0.0.0',

 编辑_site/app.js文件，搜索9200，修改localhost为ES的访问地址

 安装所需的npm依赖库

npm install phantomjs-prebuilt@2.1.16 --ignore-scripts

然后执行npm install命令进行安装

npm install

运行服务

nohup ./node_modules/grunt/bin/grunt server > es-head-start.log 2>&1 &

服务运行后，会启动在9100端口，然后就可以在浏览器中访问查看。

4.Kibana安装

4.1下载安装包

可以在官网下载后上传至服务器中，也可以直接使用wget命令在服务器中下载官网安装包，这里我我们选择wget下载。

注意Kibana的版本需要与ElasticSearch版本一致。

官网下载地址：Download Kibana Free | Get Started Now | Elastic

本次使用rpm安装的方式，所以下载rpm包，还是放到/data/software目录下

cd /data/software
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.8.10-x86_64.rpm

4.2安装服务

rpm -ivh kibana-6.8.10-x86_64.rpm

4.3配置修改

修改配置文件，rpm方式安装的kibana配置文件路径是/etc/kibana/kibana.yml

vim /etc/kibana/kibana.yml

文件里面的配置默认是全部注释掉的，我们需要添加如下内容：

# 服务端口
server.port: 5601
# 服务器ip  本机
server.host: "0.0.0.0"
# Elasticsearch 服务地址
elasticsearch.hosts: ["http://localhost:9200"]
# 设置语言为中文
i18n.locale: "zh-CN"

注：配置文件中默认注释掉的内容里有很多配置，例如ES的登录用户密码配置等，如有需要可以按需配置。

4.4启动服务

systemctl start kibana

 服务启动后，稍等一两分钟，然后就可以在浏览器中访问5601端口就可以看到界面了。

5.安装Logstash

5.1安装包下载

可以在官网下载后上传至服务器中，也可以直接使用wget命令在服务器中下载官网安装包，这里我我们选择wget下载。

注意Logstash的版本需要与ElasticSearch、Kibana版本一致。

官网下载地址：Download Logstash Free | Get Started Now | Elastic

本次使用rpm安装的方式，所以下载rpm包，还是放到/data/software目录下

cd /data/software
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.8.10.rpm

5.2安装服务

rpm -ivh logstash-6.8.10.rpm

5.3配置修改

pipeline流水线

修改配置文件，rpm方式安装的Logstash配置文件路径是/etc/logstash/conf.d

#复制配置文件模板
cp /etc/logstash/logstash-sample.conf /etc/logstash/conf.d/logstash.conf

配置内容因人而异，可以按项目进行相关的配置，模板及部分配置项如下

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}
output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

服务配置文件

Logstash服务自身的配置文件路径为/etc/logstash/logstash.yml，包含了端口、进程大小限制、日志文件路径等配置内容，可以按需进行配置。默认端口为9600。

vim /etc/logstash/logstash.yml

5.4启动服务

systemctl start logstash

6.全流程验证

ELK平台的部署已经全部结束了，接下来可以做一次全流程的验证测试。

未完待续。。。。

施工中。。。。