Docker-Compose搭建Graylog分布式日志采集系统

已于 2023-08-17 17:14:16 修改
阅读量1.3k 收藏 8
点赞数
分类专栏： 中间件 文章标签： docker graylog 分布式
于 2023-08-17 17:10:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fall_enleaves/article/details/132344520
版权

docker-compose搭建分布式日志采集系统

分布式日志收集系统包含组件, MongoDB, Elasticsearch, Graylog

一、环境:

docker: 24.0.1
具体安装教程移步: Docker初级学习笔记
docker-compose: 1.24.1
具体安装教程移步: Docker-Compos模版,常用命令,学习笔记

Graylog 官方文档地址: https://go2docs.graylog.org/5-1/downloading_and_installing_graylog/docker_installation.htm

二、步骤

1. 获取最新docker-compose.yml文件(这里展示的不是最新的)

# https://go2docs.graylog.org/5-1/downloading_and_installing_graylog/docker_installation.htm
version: '3'

services:
  mongo:
    image: mongo:3
    container_name: graylog_mongo
    restart: unless-stopped
    environment: 
      - TZ=Asia/Shanghai
    networks:
      - graylog

  elasticsearch:
    image: elasticsearch
    container_name: graylog_elasticsearch
    restart: unless-stopped
    environment:
      - http.host=0.0.0.0
      - transport.host=localhost
      - network.host=0.0.0.0
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - TZ=Asia/Shanghai
    ulimits:
      memlock:
        soft: -1
        hard: -1
    deploy:
      resources:
        limits:
          memory: 1g
    networks:
      - graylog

  graylog:
    image: graylog/graylog:3.3
    container_name: graylog
    restart: unless-stopped
    environment:
      - GRAYLOG_PASSWORD_SECRET=somepasswordpepper
       # Password: admin
      - GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918
      # TODO 这里填写自己的ip地址
      - GRAYLOG_HTTP_EXTERNAL_URI=http://127.0.0.1:9001/
      - TZ=Asia/Shanghai
    ports:
      # Graylog web interface and REST API
      - 9001:9000
      # Syslog TCP
      - 1514:1514
      # Syslog UDP
      - 1514:1514/udp
      # GELF TCP
      - 12201:12201
      # GELF UDP
      - 12201:12201/udp
    networks:
      - graylog
    depends_on:
      - mongo
      - elasticsearch

# 网桥graylog -> 方便相互通讯
networks:
  graylog:
    driver: bridge

2. docker-compose启动脚本

docker-compose up -d
等待执行结束

3. 开放相应端口

开放Graylog页面端口
firewall-cmd --zone=public --add-port=9001/tcp --permanent
开放日志提交Graylog端口
firewall-cmd --zone=public --add-port=12201/tcp --permanent
重启防火墙
firewall-cmd --reload

三、启动一个springboot项目, 推送日志到Graylog

1. 添加logback.xml

docker-compose搭建分布式日志采集系统

分布式日志收集系统包含组件, MongoDB, Elasticsearch, Graylog

一、环境:

docker: 24.0.1
具体安装教程移步: Docker初级学习笔记
docker-compose: 1.24.1
具体安装教程移步: Docker-Compos模版,常用命令,学习笔记

Graylog 官方文档地址: https://go2docs.graylog.org/5-1/downloading_and_installing_graylog/docker_installation.htm

二、步骤

1. 获取最新docker-compose.yml文件(这里展示的不是最新的)

# https://go2docs.graylog.org/5-1/downloading_and_installing_graylog/docker_installation.htm
version: '3'

services:
  mongo:
    image: mongo:3
    container_name: graylog_mongo
    restart: unless-stopped
    environment: 
      - TZ=Asia/Shanghai
    networks:
      - graylog

  elasticsearch:
    image: elasticsearch
    container_name: graylog_elasticsearch
    restart: unless-stopped
    environment:
      - http.host=0.0.0.0
      - transport.host=localhost
      - network.host=0.0.0.0
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - TZ=Asia/Shanghai
    ulimits:
      memlock:
        soft: -1
        hard: -1
    deploy:
      resources:
        limits:
          memory: 1g
    networks:
      - graylog

  graylog:
    image: graylog/graylog:3.3
    container_name: graylog
    restart: unless-stopped
    environment:
      - GRAYLOG_PASSWORD_SECRET=somepasswordpepper
       # Password: admin
      - GRAYLOG_ROOT_PASSWORD_SHA2=8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918
      # TODO 这里填写自己的ip地址
      - GRAYLOG_HTTP_EXTERNAL_URI=http:127.0.0.1:9001/
      - TZ=Asia/Shanghai
    ports:
      # Graylog web interface and REST API
      - 9001:9000
      # Syslog TCP
      - 1514:1514
      # Syslog UDP
      - 1514:1514/udp
      # GELF TCP
      - 12201:12201
      # GELF UDP
      - 12201:12201/udp
    networks:
      - graylog
    depends_on:
      - mongo
      - elasticsearch

# 网桥graylog -> 方便相互通讯
networks:
  graylog:
    driver: bridge

2. docker-compose启动脚本

docker-compose up -d
等待执行结束

3. 开放相应端口

开放Graylog页面端口
firewall-cmd --zone=public --add-port=9001/tcp --permanent
开放日志提交Graylog端口
firewall-cmd --zone=public --add-port=12201/tcp --permanent
重启防火墙
firewall-cmd --reload

三、启动一个springboot项目, 推送日志到Graylog

1. 添加logback.xml

说三遍!!!
全部复制!
全部复制!
全部复制

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!--也可以使用工程的名字-->
    <springProperty scope="context" name="springAppName" source="spring.application.name"/>

    <property name="log.path" value="./logs"/>
    <property name="console.log.pattern"
              value="${springAppName} %red(%d{yyyy-MM-dd HH:mm:ss}) %green([%thread]) %highlight(%-5level) %boldMagenta(%logger{36}) - %msg%n"/>
    <property name="log.pattern" value="%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger{36} - %msg%n"/>

    <!-- 控制台输出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="com.yomahub.tlog.core.enhance.logback.AspectLogbackEncoder">
            <pattern>${console.log.pattern}</pattern>
            <charset>utf-8</charset>
        </encoder>
    </appender>

    <!-- 控制台输出 -->
    <appender name="file_console" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}/sys-console.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 日志文件名格式 -->
            <fileNamePattern>${log.path}/sys-console.%d{yyyy-MM-dd}.log</fileNamePattern>
            <!-- 日志最大 1天 -->
            <maxHistory>1</maxHistory>
        </rollingPolicy>
        <encoder class="com.yomahub.tlog.core.enhance.logback.AspectLogbackEncoder">
            <pattern>${log.pattern}</pattern>
            <charset>utf-8</charset>
        </encoder>
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <!-- 过滤的级别 -->
            <level>INFO</level>
        </filter>
    </appender>

    <!-- 系统日志输出 -->
    <appender name="file_info" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}/sys-info.log</file>
        <!-- 循环政策：基于时间创建日志文件 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 日志文件名格式 -->
            <fileNamePattern>${log.path}/sys-info.%d{yyyy-MM-dd}.log</fileNamePattern>
            <!-- 日志最大的历史 60天 -->
            <maxHistory>60</maxHistory>
        </rollingPolicy>
        <encoder class="com.yomahub.tlog.core.enhance.logback.AspectLogbackEncoder">
            <pattern>${log.pattern}</pattern>
        </encoder>
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <!-- 过滤的级别 -->
            <level>INFO</level>
            <!-- 匹配时的操作：接收（记录） -->
            <onMatch>ACCEPT</onMatch>
            <!-- 不匹配时的操作：拒绝（不记录） -->
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>

    <appender name="file_error" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}/sys-error.log</file>
        <!-- 循环政策：基于时间创建日志文件 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 日志文件名格式 -->
            <fileNamePattern>${log.path}/sys-error.% d{yyyy-MM-dd}.log</fileNamePattern>
            <!-- 日志最大的历史 60天 -->
            <maxHistory>60</maxHistory>
        </rollingPolicy>
        <encoder class="com.yomahub.tlog.core.enhance.logback.AspectLogbackEncoder">
            <pattern>${log.pattern}</pattern>
        </encoder>
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <!-- 过滤的级别 -->
            <level>ERROR</level>
            <!-- 匹配时的操作：接收（记录） -->
            <onMatch>ACCEPT</onMatch>
            <!-- 不匹配时的操作：拒绝（不记录） -->
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>

    <appender name="GELF" class="de.siegmar.logbackgelf.GelfUdpAppender">
        <graylogHost>172.16.201.213</graylogHost>
        <graylogPort>12201</graylogPort>
    </appender>

    <!-- 系统模块日志级别控制  -->
    <logger name="com.example" level="info" />
    <!-- Spring日志级别控制  -->
    <logger name="org.springframework" level="warn" />

    <root level="info">
        <appender-ref ref="console" />
    </root>

    <!--系统操作日志-->
    <root level="info">
        <appender-ref ref="file_info" />
        <appender-ref ref="file_error" />
        <appender-ref ref="file_console" />
        <appender-ref ref="GELF" />
    </root>

</configuration>

2. maven添加依赖

这个tlLog很香, 后面有机会再介绍
可以参考学习: https://blog.csdn.net/weixin_41541562/article/details/123629617

<dependency>
    <groupId>de.siegmar</groupId>
    <artifactId>logback-gelf</artifactId>
    <version>3.0.0</version>
</dependency>

<dependency>
    <groupId>com.yomahub</groupId>
    <artifactId>tlog-web-spring-boot-starter</artifactId>
    <version>1.3.6</version>
</dependency>

3. 起动Springboot项目

写个定时任务, 一直打印日志

@Slf4j
@Component
@EnableScheduling
public class AppScheduledJobs {

    /**
     * 每3秒执行一次
     */
    @Scheduled(cron = "*/1 * * * * ?")
    public void test() {
        log.debug("deb日志" + new Date());
        log.error("error 【{}】 ", new Date());
        log.warn("warn Start: 【{}】 ", new Date());
        log.info("info Start: 【{}】 ", new Date());
        log.debug("debug Start: 【{}】 ", new Date());
    }

}

四、进入Graylog 配置日志查询

1. 访问ip:9001进到Graylog

点击导航栏: System -> inputs
Graylog配置日志

2. 配置日志信息

只用填写名字
配置日志信息
保存 就O了

2. 点击导航栏search

日志就来了
日志

码畜的自我修养
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Graylog 最简单的架构部署(docker 方案)
junxing2018_wu的博客
06-12 1310
Graylog 简介 Graylog 是一个简单易用、功能较全面的日志管理工具 最简单的架构 Graylog 提供 graylog 对外接口， CPU 密集 Elasticsearch 日志文件的持久化存储和检索， IO 密集 MongoDB 只是存储一些 Graylog 的配置 注意事项：graylog 依赖 mongo、elasticsearch，如果机器配置低可能会启动失败，特别是elasticsearch 安装步骤 准备工作 安装 docker、修改 docker 镜像仓库、安装 pip、
graylog日志部署与使用
luslin1711的博客
11-28 1767
graylog是一个简单易用、功能较全面的日志管理工具，graylog也采用Elasticsearch作为存储和索引以保障性能，MongoDB用来存储少量的自身配置信息，master-node模式具有很好的扩展性，UI上自带的基础查询与分析功能比较实用且高效，支持LDAP、权限控制并有丰富的日志类型和标准（如syslog，GELF）并支持基于日志的报警。
Java开发案例-springboot-50-docker-compose安装Graylog实现日志监控-源代码+文档.rar
最新发布
05-31
Java开发案例-springboot-50-docker-compose安装Graylog实现日志监控-源代码+文档.rar Java开发案例-springboot-50-docker-compose安装Graylog实现日志监控-源代码+文档.rar Java开发案例-springboot-50-docker-compose安装Graylog实现日志监控-源代码+文档.rar Java开发案例-springboot-50-docker-compose安装Graylog实现日志监控-源代码+文档.rar Java开发案例-springboot-50-docker-compose安装Graylog实现日志监控-源代码+文档.rar Java开发案例-springboot-50-docker-compose安装Graylog实现日志监控-源代码+文档.rar
【Docker】10、Docker-Compose安装轻量级分布式日志服务Graylog
热门推荐
Asurplus
10-26 20万+
Graylog 是一个开源的日志聚合、分析、审计、展现和预警工具。在功能上来说，和 ELK 类似，但又比 ELK 要简单很多。依靠着更加简洁，高效，部署使用简单的优势很快受到许多人的青睐。当然，在扩展性上面确实没有ELK好，但是其有商业版本可以选择
GrayLog日志平台的基本使用-接入jumpserver
qq_31292011的博客
04-03 700
1、jumpserver3.8.0部署。
【Linux】DockerCompose 一键部署graylog
m0_55878559的博客
12-16 4万+
【代码】【Linux】DockerCompose 一键部署graylog。
DockerCompose部署系列：搭建Graylog日志环境
CancerKing的博客
12-17 965
DockerCompose部署系列：搭建Graylog日志环境
graylog集群(es+mongo+graylog-sidecar+nginx负载均衡) 全docker配置（3节点）
疯飙的蜗牛
08-12 4884
全 docker 部署 graylog 4.3 版本 集群 ， 配置文件挂载方便修改 es + mongo + graylog (3台 做集群） nginx 负载均衡
docker 安装graylog
qq_54947566的博客
09-18 549
官网：https://docs.graylog.org/en/3.0/pages/installation/docker.html 参考文章：https://www.cnblogs.com/kylingx/p/11960293.html 安装mongodb 创建映射目录 /etc/localtime /opt/mongo_data docker run \ --name mongo \ -p 27017:27017 \ -v /etc/localtime:/etc/localtime:ro \ -v.
docker-compose安装包
12-19
Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。 Docker-Compose将所管理的容器分为三层，分别是工程（project），服务（service）以及容器（container）。Docker-Compose运行目录...
docker-compose 容器部署 mqtt
07-30
docker-compose 容器部署 mqtt 配置文件
docker-compose一键搭建Redis集群
06-12
1.先运行 createFile.py 输入宿主机IP地址，输入redis密码 2.按照控制台输出执行docker-compose up -d 启动命令 3.启动成功后执行加入集群命令即可
docker-compose-maven-plugin：使用Maven运行docker-compose
02-03
Docker Compose Maven插件 ... < artifactId>docker-compose-maven-plugin $VERSION 关于 Maven插件，用于通过Maven运行基本的docker-compose命令。 它可以用作Maven生命周期的一部分，也可以用作将do
【实战】使用Docker快速搭建Graylog单节点详细流程
Ji影的博客
08-16 1760
Docker快速搭建Graylog单节点详细流程实战篇
如何利用graylog进行容器化日志管理？
LinkSLA的博客
02-28 1161
保存后一切正常的话，input就会进入RUNNING状态，这时就可以往这个input里面发送数据了，点击“Stop input”，input就会停止，数据的接收也会停止，“Stop input”会变成“Start input”，需要接受数据的时点击启动就可以了。配置Docker容器发送数据到Graylog时可以在运行docker run命令启动容器的时候加上如下参数：​​​​​​​。1.在当前用户目录下创建graylog目录作为部署的工作目录：​​​​​​​。具体示例：​​​​​​​。
GrayLog日志平台的基本使用-docker容器日志接入
qq_31292011的博客
12-22 1121
服务器上存在4 个内核，我们要使用 5.12.1这个版本，可以通过 grub2-set-default 0 命令或编辑 /etc/default/grub 文件来设置。在本机测试时，docker无法访问，应该是内核版本太低的问题，我这里进行了内核升级操作。方法1、通过 grub2-set-default 0 命令设置。本机测试：curl -vk http://127.0.0.1。方法2、编辑 /etc/default/grub 文件。3.2.2、设置新的内核为grub2的默认版本。1、查看当前内核版本。
Ubuntu 22.04 通过 Docker 启动 Graylog
timczm的博客
08-28 1251
这里以 Ubuntu 22.04 举例，如果你和我的系统一样，那么可以照抄下面这个命令来快速安装 docker。如果不是，你也可以来跳转到 Docker 官网来实现安装。$(-cs接下来需要安装 Docker-Compose。
Docker安装graylog和详解
liuhm的博客
03-25 6175
Docker安装graylog和详解 前言 graylog我就不想介绍了，如果你看到graylog就知道它是一个日志存储服务器web 准备 安装docker 安装docker compose 1、安装graylog mkdir -p /home/graylog/mongo_data && chmod -R +777 /home/graylog/mongo_data mkdir -p /home/graylog/es_data && chmod -R +777 /home/gr
Docker容器日志查看Docker logging driver-json-file、journalctl 以及Docker 容器 ping Temporary failure in name 问题
本博客记录了从2014年以来在工作学习中遇到的技术问题、解决方法以及部分个人人生经历、经验等内容。
03-20 467
Docker启动容器后，默认Docker的日志会发送到容器的标准输出设备（STDOUT）和标准错误设备（STDERR），其中STDOUT和STDERR实际上就是容器的控制台终端。虽然我们能查看日志，但这些日志存储在哪里呢？这里就需要提到Docker logging driver这个概念。Docker logging driver是Docker收集容器日志及内部运行服务的日志的机制,这些机制统称为logging drivers。
docker-compose搭建lnmp
11-23
以下是使用docker-compose搭建lnmp的步骤： 1.创建一个项目目录，例如lnmp，进入该目录并创建一个docker-compose.yml文件。 2.在docker-compose.yml文件中定义三个服务：nginx、php和mysql。其中，nginx服务使用官方的nginx镜像，php服务使用自己编译的php-fpm镜像，mysql服务使用官方的mysql镜像。 3.在docker-compose.yml文件中定义三个网络：frontend、backend和mysql。其中，frontend网络用于连接nginx和php服务，backend网络用于连接php和mysql服务，mysql网络用于连接mysql服务。 4.在docker-compose.yml文件中定义三个卷：nginx-conf、nginx-logs和php-src。其中，nginx-conf卷用于存放nginx的配置文件，nginx-logs卷用于存放nginx的日志文件，php-src卷用于存放php的源代码。 5.在docker-compose.yml文件中定义三个环境变量：MYSQL_ROOT_PASSWORD、MYSQL_DATABASE和MYSQL_USER。其中，MYSQL_ROOT_PASSWORD用于设置mysql的root用户密码，MYSQL_DATABASE用于设置mysql的默认数据库，MYSQL_USER用于设置mysql的普通用户。 6.在docker-compose.yml文件中定义三个挂载点：./nginx.conf:/etc/nginx/nginx.conf、./nginx-logs:/var/log/nginx和./php-src:/var/www/html。其中，./nginx.conf用于挂载nginx的配置文件，/nginx-logs用于挂载nginx的日志文件，./php-src用于挂载php的源代码。 7.在项目目录中创建一个nginx.conf文件，用于配置nginx的虚拟主机。 8.在项目目录中创建一个index.php文件，用于测试php服务是否正常工作。 9.在项目目录中运行docker-compose up命令，启动lnmp服务。 10.在浏览器中访问http://localhost，即可看到php服务返回的内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值