安装 elk 7.17.0 详细流程

一.安装前须知

1、Docker 搭建 ELK 之前需熟悉 Docker 的相关指令，如：

拷贝容器文件docker cp

强制删除容器： docker rm -f 容器id、

创建网络： docker network create elk、

查看日志：docker logs container 等等

2、为了容器间的通信，需要先用

docker 创建一个网络：docker network create elk。

3、特别说明，均在 /usr/local/docker/ 下执行。

---

4、特别注意 elk三个版本必须一致

1、ELK（Elasticsearch、Logstash 和 Kibana）是一个常用的日志处理和数据分析工具组合。对于 ELK 的三个组件版本的一致性，以下是一些注意事项：

2、Elasticsearch 版本：Elasticsearch 是 ELK 组合中存储和搜索日志数据的核心组件。在使用 ELK 时，确保 Elasticsearch 版本与其他组件兼容并保持一致是很重要的。不同版本的 Elasticsearch 可能会引入新的功能、API 更改或性能改进等。因此，建议将 Elasticsearch、Logstash 和 Kibana 的版本保持一致。

3、Logstash 版本：Logstash 是用于数据收集、处理和转发的组件。在选择 Logstash 版本时，要确保其与 Elasticsearch 兼容，并且与所使用的 Elasticsearch 版本匹配。这样可以避免由于组件不匹配而导致的功能不正常或不稳定

4、Kibana 版本：Kibana 是用于数据可视化和分析的组件。与 Elasticsearch 和 Logstash 一样，要确保 Kibana 版本与其他组件兼容，并且与 Elasticsearch 版本一致。这有助于避免在使用 Kibana 时出现不兼容或功能失效的问题。

总结来说，为了保证 ELK 的正常运行和最佳性能，建议将 Elasticsearch、Logstash 和 Kibana 的版本保持一致，并且与所使用的其他插件和工具的版本兼容。定期更新 ELK 组件以获取最新的功能和安全修复也是一个好习惯。

二.安装 Docker

安装dcker 最好按照官方文档来

在 CentOS 上安装 Docker 引擎 |码头工人文档

安装完后可以看下版本：docker -v

查看 docker 详细信息：docker info

三.Docker 安装 ElasticSearch

1.准备工作

# 打开目录
[root@MuYu docker]# cd /usr/local/docker/
# 创建 es 目录
[root@MuYu docker]# mkdir elasticSearch
# 打开 es 目录
[root@MuYu docker]# cd elasticSearch/

2.所需脚本内容

#!/bin/sh
# @Author: Marte
# @Date:   2023-04-09 17:03:16
# @Last Modified by:   Marte
# @Last Modified time: 2023-04-09 17:07:25
docker run --name elasticsearch \
 --net elk \
 --restart=always \
 --privileged=true \
 -p 9200:9200  -p 9300:9300 \
 -e "discovery.type=single-node" \
 -e ES_JAVA_OPTS="-Xms84m -Xmx256m" \
 -v $PWD/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
 -v $PWD/data:/usr/share/elasticsearch/data \
 -v $PWD/es/plugins:/usr/share/elasticsearch/plugins \
 -d elasticsearch:7.17.0

说明：

-p （小写）映射端口号，主机端口:容器端口

-P（大写）随机为容器指定端口号

-v 进行容器的挂载

–name 指定容器别名

–net 连接指定网络

-e 指定启动容器时的环境变量

-d 后台运行容器

–privileged=true 使容器有权限挂载目录

3.挂载目录

# 创建 数据 挂载目录
[root@MuYu es]# mkdir data
# 创建 配置 挂载目录
[root@MuYu es]# mkdir config
# 创建 插件 挂载目录
[root@MuYu es]# mkdir plugins
# 权限赋值
[root@MuYu es]# chmod -R 777 /usr/local/docker/elasticSearch/

4.编辑配置

# 打开 config 目录
[root@MuYu es]# cd config/
# 编写配置文件
[root@MuYu config]# vim elasticsearch.yml


# 可访问IP
http.host: 0.0.0.0
# 跨域
http.cors.enabled: true
http.cors.allow-origin: "*"

5.启动脚本

# 打开目录
[root@MuYu es]# cd /usr/local/docker/elasticSearch
# 编辑脚本
[root@MuYu es]# vim startEs.sh
脚本赋权
[root@MuYu es]# chmod -R 700 startEs.sh
启动脚本
# 执行脚本
[root@MuYu es]# ./startEs.sh

6.查看结果

 

四.Docker 安装 Kibana

1.准备工作

# 打开目录
[root@MuYu docker]# cd /usr/local/docker/
# 创建 kibana 目录
[root@MuYu docker]# mkdir kibana
# 进入 kibana 目录
[root@MuYu docker]# cd kibana/

2.所需脚本内容

#!/bin/sh
# @Author: Marte
# @Date:   2023-03-21 19:59:41
# @Last Modified by:   Marte
# @Last Modified time: 2023-03-21 20:00:01
docker run -d \
--name kibana \
--net elk \
--restart=always \
--privileged=true \
-p 5601:5601 \
-e TZ="Asia/Shanghai" \
-v $PWD/config/kibana.yml:/usr/share/kibana/config/kibana.yml \
kibana:7.17.0

3.挂载目录

# 创建 config 挂载目录
[root@MuYu kibana]# mkdir config
配置文件


# 主机地址，可以是ip,主机名
server.host: 0.0.0.0
# 提供服务的端口，监听端口
server.port: 5601
# 该 kibana 服务的名称，默认 your-hostname
server.name: "MuYu-kibana"
server.shutdownTimeout: "5s"


#####----------elasticsearch相关----------#####
# kibana访问es服务器的URL,就可以有多个，以逗号","隔开
# 你的IP地址：es容器的IP Address
elasticsearch.hosts: [ "http://***.***.***.***:9200" ]
monitoring.ui.container.elasticsearch.enabled: true


####----------日志相关----------#####


# kibana日志文件存储路径，默认stdout
logging.dest: stdout


# 此值为true时，禁止所有日志记录输出
# 默认false
logging.silent: false


# 此值为true时，禁止除错误消息之外的所有日志记录输出
# 默认false
logging.quiet: false


# 此值为true时，记录所有事件，包括系统使用信息和所有请求
# 默认false
logging.verbose: false


#####----------其他----------#####


# 系统和进程取样间隔，单位ms，最小值100ms
# 默认5000ms
ops.interval: 5000
# kibana web语言
# 默认en
i18n.locale: "zh-CN"

4.启动脚本

[root@MuYu config]# cd ../  
[root@MuYu kibana]# vim startKibana.sh
脚本赋权
[root@MuYu kibana]# chmod -R 700 startKibana.sh 
启动脚本
[root@MuYu kibana]# ./startKibana.sh

5.查看结果

打开浏览器，输入：http://ip:5601 打开 kibana 控制台，如果未能成功打开，可以使用： docker logs kibana 查看容器日志看是否运行有误等。

 

 

五.Docker 安装 LogStash

1.准备工作

# 打开目录
[root@MuYu docker]# cd /usr/local/docker/
# 创建 kibana 目录
[root@MuYu docker]# mkdir logstash
# 进入 kibana 目录
[root@MuYu docker]# cd logstash/

2.拉取镜像并拷贝配置

docker pull logstash:7.17.0


docker run -d -P --name logstash --net elk logstash:7.17.0


# 拷贝数据
docker cp logstash:/usr/share/logstash/config logstash/
docker cp logstash:/usr/share/logstash/data logstash/
docker cp logstash:/usr/share/logstash/pipeline logstash/



#文件夹赋权

chmod -R 777 logstash/

3.修改相应配置文件

• 修改 logstash/config 下的 logstash.yml 文件，主要修改 es 的地址：

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://***.***.***.***:9200" ]

• 修改 logstash/pipeline 下的 logstash.conf 文件：

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"  # 允许任意主机发送日志
    port => 5044
    codec => json_lines    # 数据格式
  }
}


output {
  elasticsearch {
      hosts  => ["http://***.***.***.***:9200"]   # ElasticSearch 的地址和端口
      index  => "elk"         # 指定索引名
      codec  => "json"
  }
  stdout {
    codec => rubydebug
  }
}

4.启动容器并挂载

#注意先删除之前的容器
docker rm -f logstash


# 启动容器并挂载
docker run -d --name logstash --net elk \
--privileged=true \
-p 5044:5044 -p 9600:9600 \
-v $PWD/data/:/usr/share/logstash/data \
-v $PWD/config/:/usr/share/logstash/config \
-v $PWD/pipeline/:/usr/share/logstash/pipeline \
logstash:7.17.0

5.查看日志

docker logs -f logstash

每次启动完容器最好检查下日志，这样方便后续的步骤，如果出了问题，可以看到是哪的问题并方便解决。

6.查看一下堆栈检测

 

六.创建springboot应用

这个比较简单，主要就是几个配置文件：

1.pom.xml 文件，引入 logstash 的依赖

<dependency>
        <groupId>net.logstash.logback</groupId>
        <artifactId>logstash-logback-encoder</artifactId>
        <version>6.6</version>
</dependency>

2.在 resource 下创建 log/logback-springxml 文件，

这里我们主要填写<destination>ip:端口</destination>，关于 <pattern>标签则看个人使用情况修改。

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <include resource="org/springframework/boot/logging/logback/base.xml" />
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>192.168.161.128:5044</destination>
        <!-- 日志输出编码 -->
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        <!--es索引名称 -->
                        "index":"elk",
                        <!--应用名称 -->
                        "appname":"${spring.application.name}",
                        <!--打印时间 -->
                        "timestamp": "%d{yyyy-MM-dd HH:mm:ss.SSS}",
                        <!--线程名称 -->
                        "thread": "%thread",
                        <!--日志级别 -->
                        "level": "%level",
                        <!--日志名称 -->
                        "logger_name": "%logger",
                        <!--日志信息 -->
                        "message": "%msg",
                        <!--日志堆栈 -->
                        "stack_trace": "%exception"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>
    <root level="INFO">
        <appender-ref ref="LOGSTASH" />
        <appender-ref ref="CONSOLE" />
    </root>
</configuration>

3.最后修改(添加)

application.yml 文件/ bootstrap.yml：

logging:
  config: classpath:log/logback-spring.xml

4.启动后在 elasticsearch-head 界面即可看到输出的日志：