Centos7下ELKB7.4版本部署

 

1，环境准备

1.1官网下载

elasticsearch-7.4.0-linux-x86_64.tar.gz
kibana-7.4.0-linux-x86_64.tar.gz
logstash-7.4.0.tar.gz

注：各组件之间版本应当要对应一致。

1.2 jdk安装

官网下载，解压配置环境变量

>tar -zxvf jdk1.8.0_181.tar.gz
>cd jdk1.8.0_181
>pwd
/usr/local/jdk1.8.0_181
>cd ~/
>vi .bashrc
export JAVA_HOME=/usr/local/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin
>source .bashrc
>java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)

至此java安装完成。

1.3 nodojs安装

官网下载，解压配置环境变量

>tar -zxvf node-v10.15.2-linux-x64.tar.gz
>cd node-v10.15.2-linux-x64
>pwd
/usr/local/node-v10.15.2-linux-x64
>cd ~/
>vi .bashrc
export NODE_HOME=/usr/local/node-v10.15.2-linux-x64
export PATH=$PATH:$NODE_HOME/bin
>source .bashrc
>node -v
v10.15.2

看到版本号正常就代表安装正常了

2，es部署

2.1 解压

tar -zxvf elasticsearch-7.4.0-linux-x86_64.tar.gz

2.2 修改jvm配置

进入elasticsearch-7.4.0/conf下，修改 vim jvm.options文件

-Xms1g
-Xmx1g

根据机器大小修改默认大小，足够的话也可不更改.

2.3 修改es配置

进入elasticsearch-7.4.0/conf下，修改 vim elasticsearch.yml文件

cluster.name: my-application
node.name: node-1
path.data: /data/ELK/elasticsearch-7.4.0/data
path.logs: /data/ELK/elasticsearch-7.4.0/logs
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["127.0.0.1"]
cluster.initial_master_nodes: ["node-1"]
http.cors.enabled: true
http.cors.allow-origin: "*"

2.4 启动es

nohup ./bin/elasticsearch &

3.安装head插件

1.下载

[liuge@csylh softs]$ wget https://github.com/mobz/elasticsearch-head/archive/master.zip

2.解压啊
3.进入解压后的目录,使用npm install 安装(稍微有点慢,静静等待)
4.启动head插件:npm run start

4. kibana安装

4.1 解压

tar -zxvf kibana-7.4.0-linux-x86_64.tar.gz

4.2 配置kibana.yml

# 分别找到以下几项进行修改
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://你的公网地址(或者是localhost):9200"
#:wq保存退出

4.3 启动kibana

./bin/kibana

5. logstash安装

5.1 解压

tar -xvf logstash-7.4.0.tar.gz

5.2 修改logstash.config文件

先将样例文件复制一份

cp logstash-sample.conf logstash.conf

接着vi修改logstash.conf配置，下为原配置文件

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

这个配置文件是根据自己需求来定的，下面给出一份kafka源配置样例。

input 指定输入源
filter 可以对input输入的内容进行过滤或处理
output 指定处理过的日志输出到哪里，可以是ES或者是HDFS等等，可以同时配置多个，webhdfs主要配置解释
一般情况下都会结合ElasticSearch使用

5.3 启动

1.开始验证：

简单测试Logstash服务是否正常 ，预期将输入的内容结构化的输出到界面上

./logstash -e 'input{stdin{}} output{stdout{}}'

 2.按照根据配置文件启动：

./logstash -f ../config/logstash.conf --config.reload.automatic

该–config.reload.automatic选项启用自动配置重新加载，因此您不必在每次修改配置文件时停止并重新启动Logstash。