Docker安装配置ELK

于 2024-08-08 17:24:16 发布
阅读量256 收藏 6
点赞数 4
文章标签： docker elk 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51472364/article/details/141032053
版权

Docker安装ELK

为了让 es 和 kibana 容器互联。这里先创建一个网络：

docker network create es-net
ES
# 启动eleasticsearch
docker run -d --name my-es -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" -e "discovery.type=single-node" -v es-data:/D/DockerMount/elasticsearch/data -v es-plugins:/D/DockerMount/elasticsearch/plugins --privileged --network es-net -p 9200:9200 -p 9300:9300 elasticsearch:7.6.2

# 启动成功访问localhost:9200
kibana
# 启动 kibana

docker run -d --name my-kibana -e ELASTICSEARCH_HOSTS=http://my-es:9200 --network=es-net -p 5601:5601 kibana:7.6.2

# 启动成功访问localhost:5601
logstash
# 启动logstash
docker run -d --name my-logstash -e ELASTICSEARCH_HOSTS=http://my-es:9200 --network=es-net -p 12501:12501 -p 9600:9600 -p 12502:12502 -p 12503:12503 -p 12504:12504 -p 12505:12505 -p 12506:12506 -p 12507:12507 -p 12508:12508 -p 12509:12509 logstash:7.6.2

# 修改logstash配置
# 修改logstash.yml配置 在config路径下
vi config/logstash.yml

# 把xpack.monitoring.elasticsearch.hosts修改为"http://my-es:9200"
# 注意前面有空格 因为是yml格式

# 修改logstash配置文件logstash.conf 在pipeline下面
vi pipeline/logstash.conf

input {
  tcp {
    #模式选择为server
    mode => "server"
    host => "0.0.0.0"
    #这里的端口号要和logback-spring.xml里面的destination匹配
    port => 12501
	# 设定type以区分每个输入源
  	type =>  "gateway"
    codec => json_lines
  }
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 12502
    type =>  "system"
   	codec => json_lines
  }

  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 12503
    type =>  "auth"
    codec => json_lines
  }

  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 12504
    type =>  "file"
    codec => json_lines
  }

  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 12505
    type =>  "gen"
    codec => json_lines
  }

  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 12506
    type =>  "job"
    codec => json_lines
  }

  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 12507
    type =>  "monitor"
    codec => json_lines
  }
  
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 12508
    type =>  "chat"
    codec => json_lines
  }

}
output {

  if [type]=="gateway"{
   elasticsearch {
    hosts => "my-es:9200"
    index => "springboot-logstash-gateway"
  }
}

   if [type]=="system"{
   elasticsearch {
    hosts => "my-es:9200"
    index => "springboot-logstash-system"
  }
}

   if [type]=="auth"{
   elasticsearch {
    hosts => "my-es:9200"
    index => "springboot-logstash-auth"
  }
}

   if [type]=="file"{
   elasticsearch {
    hosts => "my-es:9200"
    index => "springboot-logstash-file"
  }
}

   if [type]=="gen"{
   elasticsearch {
    hosts => "my-es:9200"
    index => "springboot-logstash-gen"
  }
}

   if [type]=="job"{
   elasticsearch {
    hosts => "my-es:9200"
    index => "springboot-logstash-job"
  }
}

   if [type]=="job"{
   elasticsearch {
    hosts => "my-es:9200"
    index => "springboot-logstash-monitor"
  }
}

if [type]=="chat"{
   elasticsearch {
    hosts => "my-es:9200"
    index => "springboot-logstash-chat"
  }
}

  stdout {
     codec => rubydebug { }
  }
}

Docker安装ELK

为了让 es 和 kibana 容器互联。这里先创建一个网络：

docker network create es-net
ES
# 启动eleasticsearch
docker run -d --name my-es -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" -e "discovery.type=single-node" -v es-data:/D/DockerMount/elasticsearch/data -v es-plugins:/D/DockerMount/elasticsearch/plugins --privileged --network es-net -p 9200:9200 -p 9300:9300 elasticsearch:7.6.2

# 启动成功访问localhost:9200
kibana
# 启动 kibana

docker run -d --name my-kibana -e ELASTICSEARCH_HOSTS=http://my-es:9200 --network=es-net -p 5601:5601 kibana:7.6.2

# 启动成功访问localhost:5601
logstash
# 启动logstash
docker run -d --name my-logstash -e ELASTICSEARCH_HOSTS=http://my-es:9200 --network=es-net -p 12501:12501 -p 9600:9600 -p 12502:12502 -p 12503:12503 -p 12504:12504 -p 12505:12505 -p 12506:12506 -p 12507:12507 -p 12508:12508 -p 12509:12509 logstash:7.6.2

# 修改logstash配置
# 修改logstash.yml配置 在config路径下
vi config/logstash.yml

# 把xpack.monitoring.elasticsearch.hosts修改为"http://my-es:9200"
# 注意前面有空格 因为是yml格式

# 修改logstash配置文件logstash.conf 在pipeline下面
vi pipeline/logstash.conf

input {
  tcp {
    #模式选择为server
    mode => "server"
    host => "0.0.0.0"
    #这里的端口号要和logback-spring.xml里面的destination匹配
    port => 12501
	# 设定type以区分每个输入源
  	type =>  "gateway"
    codec => json_lines
  }

  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 12503
    type =>  "auth"
    codec => json_lines
  }
  
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 12508
    type =>  "chat"
    codec => json_lines
  }

}
output {

  if [type]=="gateway"{
   elasticsearch {
    hosts => "my-es:9200"
    index => "springboot-logstash-gateway"
  }
}

   if [type]=="auth"{
   elasticsearch {
    hosts => "my-es:9200"
    index => "springboot-logstash-auth"
  }
}

if [type]=="chat"{
   elasticsearch {
    hosts => "my-es:9200"
    index => "springboot-logstash-chat"
  }
}

  stdout {
     codec => rubydebug { }
  }
}


# 修改完后保存退出
# 检测配置文件是否正确
bin/logstash -f pipeline/logstash.conf -t

# 显示Configure OK即为正常
# 重新启动logstash
# 启动成功访问localhost:9600
SPRING - MAVEN依赖
 <!--集成logstash-->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.3</version>
</dependency>
logback-spring.xml配置
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration>
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>
    <include resource="org/springframework/boot/logging/logback/base.xml"/>
    <springProperty scope="context" name="mall-admin" source="spring.application.name"/>

    <!-- 日志在工程中的输出位置 -->
    <property name="LOG_FILE" value="${BUILD_FOLDER:-build}/${spring.application.name}"/>

    <!-- 控制台的日志输出样式 -->
    <property name="CONSOLE_LOG_PATTERN" value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>

    <!-- 控制台输出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <!-- 日志输出编码 -->
        <encoder>
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>

    <!--logstash配置-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">

        <destination>127.0.0.1:5044</destination>
        <!-- 日志输出编码 -->
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "logLevel": "%level",
                        "serviceName": "${mall-getway:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
        <!--<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>-->
    </appender>

    <root level="INFO">
        <appender-ref ref="LOGSTASH"/>
        <appender-ref ref="CONSOLE"/>
    </root>
</configuration>

# 然后在yml配置文件上加上配置

logging:
  config: classpath:logback-spring.xml

启动项目可以看到logstash的日志，这时候说明已经采集上去了

然后访问kibana查看localhost:5601

SPRING - MAVEN依赖
 <!--集成logstash-->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.3</version>
</dependency>
logback-spring.xml配置
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration>
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>
    <include resource="org/springframework/boot/logging/logback/base.xml"/>
    <springProperty scope="context" name="mall-admin" source="spring.application.name"/>

    <!-- 日志在工程中的输出位置 -->
    <property name="LOG_FILE" value="${BUILD_FOLDER:-build}/${spring.application.name}"/>

    <!-- 控制台的日志输出样式 -->
    <property name="CONSOLE_LOG_PATTERN" value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>

    <!-- 控制台输出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <!-- 日志输出编码 -->
        <encoder>
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>

    <!--logstash配置-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">

        <destination>127.0.0.1:5044</destination>
        <!-- 日志输出编码 -->
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "logLevel": "%level",
                        "serviceName": "${gateway:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
        <!--<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>-->
    </appender>

    <root level="INFO">
        <appender-ref ref="LOGSTASH"/>
        <appender-ref ref="CONSOLE"/>
    </root>
</configuration>

# 然后在yml配置文件上加上配置

logging:
  config: classpath:logback-spring.xml

启动项目可以看到logstash的日志，这时候说明已经采集上去了

然后访问kibana查看localhost:5601

杳小鱼
关注
Docker安装ELK
qq_1801743621的博客
12-23 2163
Docker安装ELK。ELK实际上是三个工具的集合，Elasticsearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。如果与elasticsearch安装的不是同一台机器启动时需要手动指定elasticsearch地址。Password：elasticsearch设置的密码。由于系统开了防火墙，需要放行相关端口。地址：http://ip:5601/拉取当前最新镜像版本：8.5.3。拉取当前最新镜像版本：8.5.3
使用docker安装ELK
热门推荐
老骆驼的博客
06-19 1万+
环境 虚拟机软件VmWare15.5 Centos7.0 安装docker yum install docker 安装成功后，使用 docker --version 安装ELK 前提条件(真机) 1.Docker至少得分配3GB的内存； 2.Elasticsearch至少需要单独2G的内存； 3.防火墙开放相关端口； 如果配置太差了，可以指定使用的配置参数 vm.max_map_count至少需要262144 下载镜像 首先启动docker systemctl start docker 下拉镜像 d
Docker配置ELK
heima201907的博客
12-12 516
1.拉取sebp/elk镜像 [AppleScript]纯文本查看复制代码 ? 1 sudo docker pull sebp/elk 2.运行ELK容器　运行elk容器的时候，需将宿主机的端口转发到该容器，其中ES端口为9200，kibana端口为5601，logstash为5044（注：可进入容器自行修改，再自由...
elk系列教程：docker中安装配置elk
chuijilei2232的博客
07-25 168
elasticSearch Docker安装elasticsearch： docker pull docker.io/elasticsearch:7.2.0 启动： docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single...
docker 安装elk
yrx0619的专栏
09-19 576
记录一篇docker 安装elk的文章 https://www.cnblogs.com/soar1688/p/6849183.html
docker部署ELK
Lem0n_Tree的博客
11-24 2175
1. 环境配置 IP 分类 192.168.20.51 elasticsearch1 & kibana 192.168.20.52 elasticsearch2 192.168.20.53 elasticsearch3 在最后添加一行 sudo vim /etc/sysctl.conf vm.max_map_count=655360 执行并生效 sudo sysctl -p sudo sysctl -a | grep max_map_count 2. 配置ELK 2.
使用docker安装elk
weixin_43900374的博客
08-22 869
docker安装elk之前要先安装docker-compose，而按照docker-compose之前要先安装pip，而按照pip可以直接按照python，因为python自带pip，omg，这都是我看在网上一步步总结过来的相对完整又简单的使用docker安装elk
elk的docker-compose配置
12-17
ELK（Elasticsearch, Logstash, Kibana）是一个流行的日志管理和分析栈，用于收集...通过理解每个组件的作用以及如何通过Docker Compose配置它们，你可以更好地利用ELK栈的强大功能，实现对日志数据的高效管理和洞察。
Docker 安装ELK集群
m0_72260904的博客
07-01 1021
docker部署elk
使用Docker搭建ELK日志系统的方法示例
09-30
主要介绍了使用Docker搭建ELK日志系统的方法示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
docker部署elk
eighters的博客
11-02 1724
docker部署elk，实测步骤及测试梳理
Docker——搭建ELK
Ti__iT的博客
11-15 543
安装Elasticsearch 1.拉取镜像 docker@box:/home/box$ docker pull elasticsearch:7.14.2 2.在宿主机准备配置文件 创建目录 docker@box:/$ mkdir -p /server0/config/elk 在/server0/config/elk目录下创建elasticsearch.yml文件 在elasticsearch.yml添加配置信息 cluster.name: "docker-cluster" ..
docker 搭建 elk
qq_42332223的博客
05-30 849
1、docker 环境搭建 Docker 安装 1.安装yum-utils： yum install y yum utils device mapper persistent data lvm2 2.为yum源添加docker仓库位置： yum config manager add repo https://download.docker.com/linux/centos/docker-ce.repo 3.安装docker: yum install docker-ce 4.启动docker: syst
Docker安装配置使用ELK三件套ElasticSearch,ElasticSearch-Head,Kibana 7.x版本
YN20001026的博客
06-12 368
安装前工作 如果用的是买的服务器，记得先去将端口放行 要放行的端口有 9200(ElasticSearch) 9100(ElasticSearch-head) 5601(Kibana) 接下来开始安装elasticsearch 楼主安装的是7.6.1版本的，你们按照自己需求安装，应该也差不多。但是要注意安装的kibana要和elasticsearch的版本一样 查找镜像 docker search elasticsearch 下载镜像 docker pull elasticsearch:7.6.1 下
基于Docker的ELK部署
Dear_xq 的博客
06-21 3920
Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、 分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasticsearch 数据库中，再通过分词控制器去将 对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打 分，再将返回结果呈现给用户。1 . docker获取es的镜像 2
docker快速部署elk
at1358的博客
03-17 1168
命令如下: #下载ELK使用的镜像 docker pull elasticsearch:7.6.0 docker pull kibana:7.6.0 docker pull logstash:7.6.0 docker pull mobz/elasticsearch‐head:5 #安装elasticsearch，创建一个elk文件夹, 后面的elk日志采集系统的配置文件都放在这里面 #创建elk使用配置文件的目录 mkdir -p /data/elk #创建es使用的目录 mkdir /data/el
docker 安装ELK
最新发布
03-29
要在Docker中安装ELK，可以按照以下步骤进行操作： 1. 首先，确保已经安装了Docker和Docker Compose。可以通过运行以下命令来检查版本： ``` docker --version docker-compose --version ``` 2. 创建一个新的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值