搭建日志系统ELK(二)

已于 2024-08-01 20:48:52 修改
阅读量851 收藏 10
点赞数 23
分类专栏： 云原生运维 云原生日志系统 文章标签： elk docker 云原生 elasticsearch Kibana
于 2024-08-01 17:46:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36652517/article/details/140853510
版权

搭建日志系统ELK(二)

架构设计

在搭建以ELK为核心的日志系统时，Logstash作为日志采集的核心组件，负责将各个服务的日志数据采集、清洗、过滤。然而缺点也很明显：

  • 占用较多的服务器资源。
  • 配置复杂，学习曲线陡峭。
  • 处理大数据量时性能下降。

在我们设计架构时，尽量会选择减少主机使用资源，轻量，高性能，又能满足日志采集的需求。有没有这么一个开源服务呢？答案便是go-stash。

特性/服务logstashgo-stash
定义ElasticStack 的一部分，用于日志收集和处理。高效的数据处理和存储工具，Go 语言实现。
性能灵活性高，但可能在处理大数据量时性能下降。高吞吐量，性能是 logstash 的5倍左右
资源消耗占用较多的服务器资源。节省了2/3的服务器资源。
易用性配置复杂，学习曲线陡峭。易用性高，配置更简洁直观。
过滤器系统强大的过滤器系统，支持多种数据处理方式。内置一套丰富的过滤器，允许自定义处理逻辑。

架构图

log-collect

各服务功能

  • filebeat：Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到kafka进行索引。
  • Kafka: Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。
  • go-stash: go-stash是一个高效的从Kafka获取，根据配置的规则进行处理，然后发送到ElasticSearch集群的工具。
  • Elasticsearch：一个基于Lucene的搜索引擎，提供快速的全文搜索能力，适合处理大规模数据集，并且具备高可扩展性。
  • Kibana：一个开源的数据分析和可视化平台，能够让用户通过图表、地图等各种方式直观地理解Elasticsearch中的数据。

流程概述

日志数据的流动遵循从产生到消费的流程。

  1. 使用docker部署的服务容器，服务产生的日志以json格式会存储在 /var/lib/docker/containers/**/*-json.log
  2. 部署filebeat服务，采集容器日志并将它们转发到kafka进行索引
  3. go-stash是一个高效的从Kafka获取，根据配置的规则进行处理，然后发送到ElasticSearch集群中进行索引和存储。
  4. Kibana作为前端界面，从Elasticsearch检索数据，并提供数据可视化。

部署

文件目录

log-collect

|-- deploy
|   |-- filebeat
|   |   -- conf
|   |       -- filebeat.yml
|   -- go-stash
|       -- etc
|           -- config.yaml
|-- docker-compose.yaml

配置文件

filebeat.yml

filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/lib/docker/containers/*/*-json.log

filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false

processors:
  - add_cloud_metadata: ~
  - add_docker_metadata: ~

output.kafka:
  enabled: true
  hosts: ["kafka:9092"]
  #要提前创建topic
  topic: "openui-log"
  partition.hash:
    reachable_only: true
  compression: gzip
  max_message_bytes: 1000000
  required_acks: 1

go-stash.yml

Clusters:
  - Input:
      Kafka:
        Name: gostash
        Brokers:
          - "kafka:9092"
        Topics:
          - openui-log
        Group: pro
        Consumers: 16
    Filters:
      - Action: drop
        Conditions:
          - Key: k8s_container_name
            Value: "-rpc"
            Type: contains
          - Key: level
            Value: info
            Type: match
            Op: and
      - Action: remove_field
        Fields:
          # - message
          - _source
          - _type
          - _score
          - _id
          - "@version"
          - topic
          - index
          - beat
          - docker_container
          - offset
          - prospector
          - source
          - stream
          - "@metadata"
      - Action: transfer
        Field: message
        Target: data
    Output:
      ElasticSearch:
        Hosts:
          - "http://elasticsearch:9200"
        Index: "openui-{{yyyy-MM-dd}}"
        Username: "elastic"
        Password: "tester"

部署

docker-compose.yaml

version: '3'

services:
  elasticsearch:
    image: elasticsearch:7.13.4
    container_name: elasticsearch
    user: root
    environment:
      - discovery.type=single-node
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - TZ=Asia/Shanghai
    volumes:
      - ./data/elasticsearch/data:/usr/share/elasticsearch/data
      - ./data/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    restart: always
    ports:
    - 9200:9200
    - 9300:9300
    networks:
      - openui_net

  #查看elasticsearch数据 - Kibana to view Elasticsearch data
  kibana:
    image: kibana:7.13.4
    container_name: kibana
    environment:
      - elasticsearch.hosts=http://elasticsearch:9200
      - elasticsearch.username="elastic"
      - elasticsearch.password="tester"
      - TZ=Asia/Shanghai
    restart: always
    networks:
      - openui_net
    ports:
      - "5601:5601"
    depends_on:
      - elasticsearch

  #elasticsearch UI
  elastichd:
    container_name: elastichd
    image: containerize/elastichd
    restart: always
    networks:
      - openui_net
    ports:
      - "9800:9800"
    depends_on:
      - elasticsearch

  kafka-ui:
    container_name: kafka-ui
    image: provectuslabs/kafka-ui:latest
    ports:
      - 9090:8080
    environment:
      DYNAMIC_CONFIG_ENABLED: 'true'
      KAFKA_CLUSTERS_0_NAME: kafka-work
      KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka:9092
    depends_on:
      - kafka
    networks:
      - openui_net

  #消费kafka中filebeat收集的数据输出到es - The data output collected by FileBeat in Kafka is output to ES
  go-stash:
    image: eilinge/go-stash # golang:v1.22
    container_name: go-stash
    environment:
      # 时区上海 - Time zone Shanghai (Change if needed)
      TZ: Asia/Shanghai
    user: root
    restart: always
    volumes:
      - ./deploy/go-stash/etc:/app/etc
    networks:
      - openui_net
    depends_on:
      - elasticsearch
      - kafka

  #收集业务数据 - Collect business data
  filebeat:
    image: elastic/filebeat:7.13.4
    container_name: filebeat
    environment:
      # 时区上海 - Time zone Shanghai (Change if needed)
      TZ: Asia/Shanghai
    user: root
    restart: always
    entrypoint: "filebeat -e -strict.perms=false"  #解决配置文件权限问题 - Solving the configuration file permissions
    volumes:
      - ./deploy/filebeat/conf/filebeat.yml:/usr/share/filebeat/filebeat.yml
      - /var/lib/docker/containers:/var/lib/docker/containers
    networks:
      - openui_net
    depends_on:
      - kafka


  #zookeeper是kafka的依赖 - Zookeeper is the dependencies of Kafka
  zookeeper:
    image: wurstmeister/zookeeper
    container_name: zookeeper
    environment:
      # 时区上海 - Time zone Shanghai (Change if needed)
      TZ: Asia/Shanghai
    restart: always
    ports:
      - 2181:2181
    networks:
      - openui_net

  #消息队列 - Message queue
  kafka:
    image: wurstmeister/kafka
    container_name: kafka
    ports:
      - 9092:9092
    environment:
      - KAFKA_ADVERTISED_HOST_NAME=kafka
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
      - KAFKA_AUTO_CREATE_TOPICS_ENABLE=false
      - TZ=Asia/Shanghai
    restart: always
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    networks:
      - openui_net
    depends_on:
      - zookeeper

networks:
  openui_net:
    driver: bridge
    ipam:
      config:
        - subnet: 172.16.0.0/16

环境服务搭建

[root@master log-collect]# docker-compose ps
NAME                COMMAND                  SERVICE             STATUS              PORTS
elastichd           "ElasticHD"              elastichd           running             0.0.0.0:9800->9800/tcp, :::9800->9800/tcp
elasticsearch       "/bin/tini -- /usr/l…"   elasticsearch       running             0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp, :::9200->9200/tcp, :::9300->9300/tcp
filebeat            "filebeat -e -strict…"   filebeat            running             
go-stash            "./stash -f etc/conf…"   go-stash            running             
kafka               "start-kafka.sh"         kafka               running             0.0.0.0:9092->9092/tcp, :::9092->9092/tcp
kafka-ui            "/bin/sh -c 'java --…"   kafka-ui            running             0.0.0.0:9090->8080/tcp, :::9090->8080/tcp
kibana              "/bin/tini -- /usr/l…"   kibana              running             0.0.0.0:5601->5601/tcp, :::5601->5601/tcp
zookeeper           "/bin/sh -c '/usr/sb…"   zookeeper           running             0.0.0.0:2181->2181/tcp, :::2181->2181/tcp

检查各服务是否正常运行

elastic-cluster

elastic-cluster

kafka-cluster

kafka-cluster

kafka-topic

kafka-topic

kibana

kibana

劣势分析

通过部署文件，很明显的存在一些劣势：

  • 依赖性过高： 容器之间各自负责不同的功能，学习成本增加。
  • 资源消耗：每个容器可能需要额外的资源，如内存和CPU。
  • 复杂性：容器编排和管理需要一定的学习和运维成本。
  • 网络配置：容器间的网络通信需要合理配置，以确保数据流畅。

ISSUE

在上述部署的过程，也不是一番风顺，有些错误对一个接触相关服务较少的同学而言，就容易退缩。还好出现的常见问题在网上都能找到解决方法，主要还是需要我们保持一颗热爱学习的心。

  1. Kibana的Stack Monitoring显示节点offline

  2. ElasticSearch+Kibana设置用户名密码

  3. ES开启密码安全认证后，elastichd的连接方式

  4. go-stash 依赖json-iterator版本较低
    使用我基于golang:v1.22最新构建的 go-stash镜像

  5. elasticSearch 文件权限不足，启动失败

项目地址

Log-Collect

cloud_ether
关注
专栏目录
ELK搭建-日志系统
weixin_41141000的博客
04-15 620
ELK搭建-介绍背景技术框架输入处理输出输入***处理***kafka消费输出*** 介绍 背景 基于日志采集为需求背景，实现大批量日志数据采集。采集数据存储在es湖中。 技术框架 此技术框架分为三大部分 输入、处理、和输出 输入主要采集服务器日志文件推送至kafka。 处理主要从kafka拉取消息进行消费，并存储到es中。 输出主要提供日志的查询接口，供查询使用。 输入 为采集的源头，使用filebeat进行本地文件采集。 抛来一个疑问，为什么选择filebeat，而不是logstach，请一起思考？？
ELK日志系统搭建完整详细步骤
qq_39093474的博客
05-23 1854
为什么需要引进这个ELK日志采集系统呢？
ELK日志系统的搭建
adminstate的博客
04-23 1597
ELK日志系统搭建
ELK日志采集系统搭建
旷野历程
05-31 1520
现在的系统大多比较复杂，一个服务的背后可能就是一个集群的机器在运行，各种访问日志、应用日志、错误日志量随着访问量和时间会越来越多，运维人员就无法很好的去管理日志，开发人员排查问题，需要到服务器上查日志，极为不方便。逐台登陆机器去查看日志特别费力，且效率慢。
ELk日志分析系统搭建
@chenk的博客
05-17 6491
一、什么是ELK ​ ELK是Elasticsearch + Logstash + Kibana 这种架构的简写. ​ 这是一种日志分析平台的架构. 如果没有ELK这样的日志分析平台,我们同样可以使用shell三剑客(grep、sed、awk)来分析日志。 这种方式略显原始而简陋，虽然也能应对大多数的场景，但是当日志量变大，分析频繁的时候，仅靠人工shell 的方式来查看分析日志，就很不方便。 尤其适当使用者，对于shell不是很擅长的情况下，一个操作简单，配置方便的日志分析平台，就显得很有必要了。
Centos7下搭建ELK日志分析系统
11-02
【Centos7下搭建ELK日志分析系统】 ELK栈是日志管理和分析的强大工具，由Elasticsearch、Logstash、Kibana三个组件组成。Elasticsearch是一个分布式的实时搜索和分析引擎，用于存储、分析和检索大量数据。Logstash...
搭建日志服务器ELK
11-25
ELK这三个开源工具的关系，简单来说就是logstatsh 收集日志，存到elasticserach （存储，产生索引，搜索），再由kibana展现（view）。
使用Docker搭建ELK日志系统的方法示例
09-30
主要介绍了使用Docker搭建ELK日志系统的方法示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
K8S - Emptydir - 取代ELK 使用fluentd 构建logging saidcar
nvd11的专栏
09-09 1353
Kubernetes中的EmptyDir是一种用于容器之间共享临时存储的空目录卷类型。EmptyDir卷在Pod内的容器之间共享，并且在Pod被删除时，其中的数据也会被删除。以下是EmptyDir卷的一些关键特点：临时存储：EmptyDir卷用于临时存储数据。当Pod被删除时，EmptyDir中的数据也会被删除。容器共享：EmptyDir卷可以在同一个Pod中的多个容器之间共享数据。这对于需要在容器之间共享数据的场景非常有用。
Docker 容器中镜像导出/导入
kfashfasf的博客
09-10 920
利用命令查看要导出的镜像。这表示它处理的是镜像，通常用于在不同的 Docker 主机之间迁移 Docker image，离线环境下安装 Docker image主要处理的是容器本身，‌通常用于快速备份或转移某个容器，或在需要将容器升级到新的版本之前，对其进行测试。
Docker Desktop 的安装与汉化指南
Fanstay985的博客
09-12 1019
Docker Desktop 是一款非常流行的开发工具，它使得开发者能够在自己的计算机上轻松地构建、运行和调试 Docker 容器。然而，默认情况下，Docker Desktop 的界面是英文的，对于中文用户来说，有时候会觉得不够友好。幸运的是，有一些社区贡献者提供了汉化包，可以让 Docker Desktop 的界面变得更加亲切。本文将指导你如何在 Windows 或 macOS 上安装 Docker Desktop，并且介绍如何安装汉化包。
docker打印容器启动命令和输出dockerfile
liujiangxu
09-10 539
例如想学习研究官方dockerfile写法可直接导出文件，安装方式如runlike一致。
x86的Docker环境下载ARM版容器镜像
shanshanqwertyuiop的博客
09-07 544
内网是信创ARM环境，需要从外网下载镜像，但外网的docker环境是X86环境，此时需要在外网docker环境下载ARM版容器镜像。
docker
czzwa的博客
09-11 656
Docker最初是dotCloud公司创始人Solomon Hykes在法国期间发起的一个公司内部项目，它是基于 dotCloud公司多年云服务技术的一次革新，并于2013年3月以Apache 2.0授权协议开源，Docker是用Go编 写，主要项目代码在GitHub上进行维护。Docker是一个用于开发，交付和运行应用程序的开放平台。Docker使用户能够将应用程序与基础架构 分开，从而可以快速交付软件。借助Docker，用户可以以与管理应用程序相同的方式来管理基础架构。
【Docker Nexus3】maven 私库
最新发布
琴韵悠悠
09-14 759
【代码】【Docker Nexus3】maven 私库。
docker的基本操作
m0_53291740的博客
09-10 985
简化部署过程：可以将应用及其依赖打包成一个镜像，确保在不同环境中能够一致地部署。无论目标环境是开发服务器、测试环境还是生产环境，应用都能以相同的方式运行，减少了因环境差异导致的部署问题。
Docker高级管理--Compose容器编排与私有仓库（Docker技术集群与应用）
2401_85084312的博客
09-11 1076
Swarm 集群管理Docker Compose 概述先检查当前环境中是否有compose；如果发现没有，将以下包，拉取到指定的位置即可；然后给这个文件一个执行权；再次查看就可以了；然后快速部署本次实验环境所需的镜像；执行导入脚本即可将该目录下的所有镜像导入到系统中；检查一下：写一个简单点的compose文件；注意文件名和后缀名必须和图中一样；注意:yaml语言格式及其严格，注意空格，不能多，不能少。在使用compose的时候，确保在该文件的目录下输入；查看创建的容器；
手把手教你搭建ELK日志分析系统
"快速搭建ELK日志分析系统，包括Elasticsearch、Logstash和Kibana的核心组件，用于日志收集、分析和可视化。Elasticsearch是一个强大的搜索和分析引擎，Logstash处理各种日志源，而Kibana则提供图形化界面。" 在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值