Docker日志管理

于 2024-08-14 11:54:55 发布
阅读量1k 收藏 30
点赞数 26
文章标签： docker 容器 运维 日志管理 镜像
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/henanchenxuyuan/article/details/141186444
版权

一、知识点介绍

1.ELK(Elasticserach、Logstash、Kibana)

前面笔记有

2.什么是 Filebeat

        Filebeat 是 ELK 组件的新成员， 也是 Beat 成员之一。基于 Go 语言开发，无任何依赖并且比 Logstash 更加轻量，不会带来过高的资源占用， 非常适合安装在生产机器上。轻量意味着简单，Filebeat 并没有集成和 Logstash 一样的正则处理功能， 而是将收集的日志原样输出。

        以下是 Filebeat 的工作流程:当开启 Filebeat 程序的时候，它会启动一个或多个检测进程(prospectors) 找到指定的日志目录或文件。对于探测器找出的每一个日志文件，Filebeat 启动读取进程(harvester)。每读取一个日志文件的新内容，便发送这些新的日志数据到处理程序(spooler)。最后，Filebeat 会发送数据到指定的地点(比如logstash、elasticserach)。

        正是以上原因， 目前， Filebeat 已经完全替代了 Logstash 成为新一代的日志采集器。同时，鉴于它的轻量、安全等特点，越来越多人开始使用它。

3.Docker 日志管理架构缺陷

        ELK 架构适合于日志规模比较庞大的情况。但由于 Logstash 日志解析节点和Elasticsearch 的负荷比较重，可将其配置为集群模式，以分担负荷。引入消息队列，均衡了网络传输， 从而降低了网络闭塞，尤其是丢失数据的可能性，但依然存在 Logstash 占用系统资源过多的问题。

二、案列环境

1.案列实验环境

2.案例需求

(1)利用 ELKF 收集容器里面的日志。
(2)通过 Kibana 将收集到日志做图表分析。

3.案例实现思路

(1)准备系统环境。
(2)构建 ELKF 组件镜像。
(3)创建 ELKF 容器收集容器里面的 Nginx 日志。
(4)创建 Kibana 图形展示。

三、案例实施

基于 Docker 环境部署 ELKF 日志分析系统，实现日志分析功能。

1.系统环境准备

（1）修改系统参数
[root@localhost ~]# vim /etc/sysctl.conf
vm.max_map_count=655360

备注：

max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量（字节）

[root@localhost ~]# sysctl -p 
[root@localhost ~]# vim /etc/security/limits.conf 
* soft nofile 65535 
* hard nofile 65535 
* soft nproc 65535 
* hard nproc 65535 
* soft memlock unlimited 
* hard memlock unlimited
（2）单独创建 ELK-kgc 网络桥接
[root@localhost ~]# docker network create ELK-kgc 
[root@localhost ~]# docker network ls

2.基于 Dockerfile 构建 Elasticsearch 镜像

（1）创建 Elasticsearch 工作目录 
[root@localhost ~]# mkdir /root/elk
[root@localhost ~]# mkdir -p /root/elk/elasticsearch 
[root@localhost ~]# cd /root/elk/elasticsearch
上传 elasticsearch 的源码包到/root/elk/elasticsearch 目录下
（2）修改es配置文件
[root@localhost Elasticsearch]#  tar zxvf elasticsearch-7.10.0-linux-x86_64.tar.gz
[root@localhost elasticsearch]# cd elasticsearch-7.10.0/config
[root@localhost config]# vim elasticsearch.yml
cluster.name: my-application		##17行，群集名称
node.name: elasticsearch		##23行，本节点主机名
path.data: /path/to/data		##33行，数据文件路径
path.logs: /path/to/logs		##37行，日志文件路径
network.host: 0.0.0.0		##55行，监听地址
http.port: 9200		##59行，监听端口
cluster.initial_master_nodes: ["elasticsearch"]   ##72，master主机名称，群集的初始化会将此节点选举为master
[root@localhost config]# cp elasticsearch.yml /root/elk/elasticsearch
（3）编写 Elasticsearch 的 Dockerfile 文件
[root@localhost Elasticsearch]# vim dockerfile 
FROM centos:7
MAINTAINER wjq@kgc
#RUN yum -y install wget
RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
#RUN curl -o /etc/yum.repos.d/CentOS-Base.repo ftp://192.168.2.149/repo/CentOS-Base.repo
#RUN curl -o /etc/yum.repos.d/epel.repo ftp://192.168.2.149/repo/epel.repo
RUN yum clean all
RUN yum -y install java-11 vim telnet lsof net-tools
ADD elasticsearch-7.10.0-linux-x86_64.tar.gz /usr/local/
RUN mkdir -p /path/to/data
RUN mkdir -p /path/to/logs
COPY elasticsearch.yml /usr/local/elasticsearch-7.10.0/config/
RUN useradd es && chown -R es:es /usr/local/elasticsearch-7.10.0/
RUN chmod +x /usr/local/elasticsearch-7.10.0/bin/*
RUN chown -R es:es /path/to/data
RUN chown -R es:es /path/to/logs
RUN sed -i s/-Xms1g/-Xms4g/g /usr/local/elasticsearch-7.10.0/config/jvm.options
RUN sed -i s/-Xmx1g/-Xmx4g/g /usr/local/elasticsearch-7.10.0/config/jvm.options
EXPOSE 9200
EXPOSE 9300
CMD su es /usr/local/elasticsearch-7.10.0/bin/elasticsearch
（4）构建 Elasticsearch 镜像
[root@localhost Elasticsearch]# docker build -t elasticsearch .

3.基于 Dockerfile 构建 Kibana 镜像

执行步骤如下：

（1）创建 Kibana 工作目录 
[root@localhost ~]# mkdir -p /root/elk/kibana
（2）上传 kibana 的源码包

上传 kibana 的源码包到/root/elk/kibana 目录下

（3）编写 Kibana 的 Dockerfile 文件
[root@localhost ~]# cd /root/elk/kibana 
[root@localhost kibana]# tar zxvf kibana-7.10.0-linux-x86_64.tar.gz 
[root@localhost kibana]# cd kibana-7.10.0-linux-x86_64/config/
[root@localhost config]# vim kibana.yml 

server.port: 5601		##2行，监听端口
server.host: "0.0.0.0"		##7行，监听地址
server.name: "kibana"    ##25
elasticsearch.hosts: ["http://elasticsearch:9200"]		##28行，ES主机的IP地址
i18n.locale: "zh-CN"		##107

[root@localhost config]# cp kibana.yml /root/elk/kibana/
[root@localhost config]# cd /root/elk/kibana

[root@localhost kibana]# vim dockerfile 
FROM centos:7
MAINTAINER wjq@kgc
#RUN yum -y install wget
RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
#RUN curl -o /etc/yum.repos.d/CentOS-Base.repo ftp://192.168.2.149/repo/CentOS-Base.repo
#RUN curl -o /etc/yum.repos.d/epel.repo ftp://192.168.2.149/repo/epel.repo
RUN yum clean all
RUN yum -y install java-11 vim telnet lsof net-tools
ADD kibana-7.10.0-linux-x86_64.tar.gz /usr/local/ 
COPY kibana.yml /usr/local/kibana-7.10.0-linux-x86_64/config/
EXPOSE 5601 
RUN useradd es && chown -R es:es /usr/local/kibana-7.10.0-linux-x86_64/
CMD su es /usr/local/kibana-7.10.0-linux-x86_64/bin/kibana

备注：

kibana不能用root用户执行，如果用root执行，需要--allow-root选项

（4）构建 kibana 镜像
[root@localhost kibana]# docker build -t kibana .

4.基于 Dockerfile 构建 Logstash 镜像

执行步骤如下：

（1）创建 Logstash 工作目录 
[root@localhost ~]# mkdir -p /root/elk/logstash
（2）上传 logstash 的源码包

上传 logstash 的源码包到/root/elk/logstash 目录下

（3）编写 Logstash 的 Dockerfile 文件
[root@localhost ~]# cd /root/elk/logstash 
[root@localhost logstash]# vim dockerfile 
FROM centos:7
MAINTAINER wjq@kgc
#RUN yum -y install wget
RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
#RUN curl -o /etc/yum.repos.d/CentOS-Base.repo ftp://192.168.2.149/repo/CentOS-Base.repo
#RUN curl -o /etc/yum.repos.d/epel.repo ftp://192.168.2.149/repo/epel.repo

RUN yum clean all
RUN yum -y install java-11 vim telnet lsof net-tools
ADD logstash-7.10.0-linux-x86_64.tar.gz /usr/local/ 
RUN chmod -R 777 /usr/local/logstash-7.10.0/data/
ADD nginx-log.conf /opt/logstash/conf/nginx-log.conf
ADD run.sh /run.sh
RUN chmod 755 /*.sh
EXPOSE 5044
CMD ["/run.sh"]
（4）创建 CMD 运行的脚本文件 
[root@localhost logstash]# vim run.sh 
#!/bin/bash
/usr/local/logstash-7.10.0/bin/logstash -f /opt/logstash/conf/nginx-log.conf
（5）logstash 配置文件详解
[root@localhost ~]#mkdir -p /opt/logstash/conf
[root@localhost ~]# vim /opt/logstash/conf/nginx-log.conf
input {
  beats {
port => 5044
    codec => "json"

  }
}

filter {
    if "www-bdqn-cn-pro-access" in [tags] {
        grok {
match => {
      "message" => "%{IPV4:remote_addr} - (%{USERNAME:remote_user}|-) \[%{HTTPDATE:time_local}\] \"%{WORD:request_method} %{URIPATHPARAM:request_uri} HTTP/%{NUMBER:http_protocol}\" %{NUMBER:http_status} %{NUMBER:body_bytes_sent} \"%{GREEDYDATA:http_referer}\" \"%{GREEDYDATA:http_user_agent}\" \"(%{IPV4:http_x_forwarded_for}|-)\""
 } 
        }
    }
    urldecode {all_fields => true}
    date {
      match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
    }
    useragent {
      source => "agent"
      target => "ua"
    }
}


output {
  if "www-bdqn-cn-pro-access" in [tags] {
    elasticsearch {
      hosts => ["elasticsearch:9200"]
      manage_template => false
      index => "www-bdqn-cn-pro-access-%{+YYYY.MM.dd}"
    }
}
}

备注：

可以用如下简洁的写法

input {
  beats {
    port => "5044"
    codec => "json"
 }
}

output{
    elasticsearch {
      hosts => ["elasticsearch:9200"]
      manage_template => false
      index => "www-bdqn-cn-pro-access-%{+YYYY.MM.dd}"
    }
}

[root@localhost logstash]# cp /opt/logstash/conf/nginx-log.conf /root/elk/logstash/
（6） 构建 logstash 镜像 
[root@localhost logstash]# docker build -t logstash .

5.基于 Dockerfile 构建 Filebeat 镜像

（1）创建 Filebeat 工作目录 
[root@localhost ~]# mkdir -p /root/elk/filebeat
（2）编写 Filebeat 的 Dockerfile 文件 
[root@localhost ~]# cd /root/elk/filebeat
（3）上传 Filebeat 的源码包和 Filebeat 配置文件

上传 Filebeat 的源码包和 Filebeat 配置文件到/root/elk/filebeat 目录下

[root@localhost Filebeat]# vim dockerfile
FROM centos:7
MAINTAINER wjq@kgc
#RUN yum -y install wget
RUN rm -rf /etc/yum.repos.d/*
RUN curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
RUN curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
#RUN curl -o /etc/yum.repos.d/CentOS-Base.repo ftp://192.168.2.149/repo/CentOS-Base.repo
#RUN curl -o /etc/yum.repos.d/epel.repo ftp://192.168.2.149/repo/epel.repo

RUN yum clean all
RUN yum -y install java-11 vim telnet lsof net-tools
ADD filebeat-7.10.0-linux-x86_64.tar.gz /usr/local/
#RUN cd /usr/local/filebeat-7.10.0-linux-x86_64
RUN mv /usr/local/filebeat-7.10.0-linux-x86_64/filebeat.yml /root/
COPY filebeat.yml /usr/local/filebeat-7.10.0-linux-x86_64/
ADD run.sh /run.sh
RUN chmod 755 /*.sh
CMD ["/run.sh"]
（4）Filebeat 配置文件详解查看 Filebeat 的配置文件。
[root@localhost filebeat]# vim filebeat.yml 
filebeat.inputs:
- type: log
  paths:
    - /var/log/nginx/access.log
  tags: ["www-bdqn-cn-pro-access"]

output.logstash:
  hosts: ["logstash:5044"]
（5）创建 CMD 运行的脚本文件 
[root@localhost Filebeat]# vim run.sh 
#!/bin/bash
/usr/local/filebeat-7.10.0-linux-x86_64/filebeat -e -c /usr/local/filebeat-7.10.0-linux-x86_64/filebeat.yml

备注：

-c：配置文件位置

-path.logs：日志位置

-path.data：数据位置

-path.home：家位置

-e：关闭日志输出

-d 选择器：启用对指定选择器的调试。 对于选择器，可以指定逗号分隔的组件列表，也可以使用-d“*”为所有组件启用调试.例如，-d“publish”显示所有“publish”相关的消息。

（6）构建 Filebeat 镜像 
[root@localhost Filebeat]# docker build -t filebeat .

6.启动 Nginx 容器做为日志输入源

[root@localhost ~]# docker run -itd -p 80:80 --network ELK-kgc -v /var/log/nginx:/var/log/nginx --name nginx-ELK nginx:latest

访问nginx网站，产生日志：

[root@localhost ~]# cat /var/log/nginx/access.log

7.启动 Filebeat+ELK 日志收集环境

（1）启动 Elasticsearch
[root@localhost ~]# docker run -itd -p 9200:9200 -p 9300:9300 --network ELK-kgc -v /path/to/logs:/path/to/logs --name elasticsearch elasticsearch
（2）启动 kibana
[root@localhost ~]# docker run -itd -p 5601:5601 --network ELK-kgc --name kibana kibana
（3）启动 logstash 
[root@localhost ~]# docker run -itd -p 5044:5044 --network ELK-kgc -v /opt/logstash/conf:/opt/logstash/conf --name logstash logstash
（4）启动 Filebeat 
[root@localhost ~]# docker run -itd --network ELK-kgc -v /var/log/nginx:/var/log/nginx --name filebeat filebeat

8.Kibana Web 管理

找到Managerment--》Stack Management--》（Kibana）索引模式--》创建索引模式

 

 

 

 

 

竹浅共春枝
关注
Docker 的日志相关整理
网易搬砖选手
10-10 2702
1 Docker daemon日志的位置Docker daemon日志的位置，根据系统不同各不相同。  Ubuntu - /var/log/upstart/docker.logBoot2Docker - /var/log/docker.logDebian GNU/Linux - /var/log/daemon.logCentOS - /var/log/daemon.log | grep docke
Docker 日志管理
最新发布
10-09 681
查看默认驱动 docker info --format '{{.LoggingDriver}}'如果是远程主机使用 fluentd-address 参数。在 Docker 中安装 Fluentd。准备 test.conf 文件。启动 fluentd 接收日志。
Docker 的安全及日志管理介绍
码海小虾米_的博客
08-04 871
Docker 的安全及日志管理一、 Docker 容器与虚拟机的区别1. 隔离与共享2. 性能与损耗二、Docker 存在的安全问题1.Docker 自身漏洞2.Docker 源码问题三、Docker 架构缺陷与安全机制1. 容器之间的局域网攻击2. DDoS 攻击耗尽资源3. 有漏洞的系统调用4. 共享root用户权限四、Docker 安全基线标准1. 内核级别2. 主机级别3. 网络级别4. 镜像级别5. 容器级别6. 其他设置五、容器相关的常用安全配置方法1. 容器最小化2. Docker 远程 A.
Docker安全及日志管理
Bilson99的博客
08-07 336
目 录一、Docker 容器与虚拟机的区别1、隔离与共享2、性能与损耗二、Docker存在的安全问题1、Docker自身的安全漏洞2、Docker源码问题3、Docker架构缺陷与安全机制4、Docker 安全基线标准三、容器相关的常用安全配置方法四、限制流量流向五、镜像安全六、DockerClient 端与 DockerDaemon 的通信安全七、避免Docker 容器中信息泄露 一、Docker 容器与虚拟机的区别 1、隔离与共享 虚拟机虚拟机通过添加 Hypervisor 层，虚拟出网卡、内存、C
Docker日志及配置
mind_transition的博客
08-07 1550
介绍了docker的日志驱动
docker 日志管理
Nicolege678的博客
06-06 1115
docker logs [OPTIONS] CONTAINER-f : 跟踪日志输出--since :显示某个开始时间的所有日志-t : 显示时间戳--tail :仅列出最新N条容器日志eg : docker logs -f -t --tail 10 e1138a8ae7a7（docker id）>> exam.logdocker logs --since="2016-07-01" --tail=10 mynginx// 针对实时打印的日志，可使用以下命令进行操作，Ctrl+c 退出当前打印界面，Ctrl+
06-docker日志管理.docx
08-13
使用EFK管理docker日志
docker 日志管理（elkf）docker-compose 一键启动.zip
10-20
**Docker日志管理ELKF系统使用教程** 在IT运维领域，日志管理是一项至关重要的任务，它能够帮助我们监控、排查系统问题，确保服务稳定运行。ELKF（Elasticsearch, Logstash, Kibana, Fluentd）是常见的日志解决方案...
Dockter:低开销的开源Docker日志管理工具
03-18
Dockter v0.1.0是一款低开销的开源Docker日志管理工具，专门为以下目的而构建： 实时日志收集-与Docker Engine API通信以访问容器流并收集实时日志 日志聚合-将容器日志存储到集中式数据库中 过滤和搜索功能-通过...
【Docker】Docker日志管理
Ezreal's Blog
01-03 676
文章目录一、Docker日志的种类二、容器日志容器日志的查看容器日志驱动三、生产环境中的日志管理标准输出的日志产生日志文件参考链接与资料 一、Docker日志的种类 Docker日志分为两类： Docker引擎日志：Docker的运行日志，可以通过如下命令来查看： journalctl -u docker 容器日志：容器内的服务产生的日志。 本文我们重点介绍容器日志。 二、容器日志 容器...
Docker容器监控及日志管理实现过程解析
09-29
主要介绍了Docker容器监控及日志管理实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
docker日志管理
clownwai的博客
04-24 1872
文章目录前言一、容器日志存放位置二、批量查看日志大小三、清理四、NotePad++ 格式转换总结 前言 docker容器日志占用磁盘空间，并且 docker logs 容器名/ID 输出太多，不便于查看。因此可以将容器日志进行清理。 一、容器日志存放位置 /var/lib/docker/containers/ 其中的每个文件夹代表一个容器，进入文件夹查看日志文件。 其中以-json.log结尾的文件就是此容器的日志文件。 可以使用命令 cat /dev/null > *-json.log
Docker虚拟化技术——docker日志管理
feili12138的博客
04-14 1827
Docker日志管理 一、docker日志 1.docker引擎日志 Docker 引擎日志一般是交给了Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04) 前者：一般位于/var/log/upstart/docker.log下 后者：我们一般 通过journalctl -u docker来进行查看 2.docker容器日志...
Docker--容器监控与日志管理
小李学不完的博客
05-11 3086
Docker监控工具、容器日志工具docker logs、第三方日志工具、容器日志驱动、示例：查看容器中运行的进程的信息、查看容器的资源使用情况、使用cAdvisor监控容器、使用Weave Scope监控容器、使用docker logs命令查看容器日志、配置日志驱动：配置默认的日志驱动、配置容器的日志驱动。容器日志清理、将容器的日志重定向到Linux日志：将容器日志记录到journald。使用Logspout收集所有容器的日志。
Docker日志配置及日志常用详解
热门推荐
冷色调的夏天的博客
10-17 1万+
Docker日志配置及日志常用详解 在跑带有Docker项目的时候，我们经常会查看日志排错 日志存放的位置在/var/lib/docker/containers/ 有些时候你会发现Docker的日志呈几何倍数增长，那么你就可能需要定期清理 使用docker system df 查看Docker镜像及日志等占用情况 ```javascript #!/bin/sh #提供一个清理日志的脚本...
Docker日志文件全局配置
。。。。
08-08 436
这个配置的作用是确保Docker容器生成的日志文件不会无限增大，也不会占用过多的存储空间。当单个日志文件达到最大大小或创建了指定数量的日志文件后，Docker会创建一个新的日志文件，并可能删除旧的日志文件以保持数量不超过限制。例如，如果max-file设置为3，并且当前有3个日志文件，每个文件大小为1024MB，那么即使第四个日志文件的大小只有1MB，Docker也会删除最早的日志文件以保持文件数量为3。这段配置是Docker容器的日志驱动配置，具体来说是json-file日志驱动的配置。
Docker日志管理：ElasticSearch与Logstash实战
"这篇文章主要探讨了如何利用ElasticSearch、Logstash、Kibana和Logspout这四个组件构建一个自动化的Docker日志管理系统。文章借鉴了Evan Hazlett关于在Docker中运行ELK栈的文章以及ClusterHQ关于使用Fig/Docker ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值