基于Kafka的日志采集

已于 2024-05-24 11:50:38 修改
阅读量1.9k 收藏 23
点赞数 38
分类专栏： ELK 文章标签： kafka linq jenkins java 运维 云计算 es
于 2024-05-24 11:48:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33906471/article/details/139169728
版权

目录

前言

架构图

资源列表

基础环境

关闭防护墙

关闭内核安全机制

修改主机名

添加hosts映射

一、部署elasticsearch

修改limit限制

部署elasticsearch

修改配置文件

启动

二、部署filebeat

部署filebeat

添加配置文件

启动

三、部署kibana

部署kibana

修改配置文件

启动

四、部署Kafka

安装java

安装kafka

配置环境变量

创建数据存储目录和日志存储目录

修改zk配置文件

修改Kafka配置文件

启动zk

启动Kafka

测试

五、部署logstash

部署logstash

添加配置文件

启动

前言

        当日志量变得非常大时，传统的日志收集平台可能会遇到性能瓶颈、单点故障或扩展性问题。在这种情况下，引入消息队列（如Kafka）可以显著增强日志收集系统的健壮性、可扩展性和实时性。

以下是当在日志收集平台中加入Kafka时，可以带来的优势和改进：

  1. 缓冲和异步处理：
    Kafka作为一个消息队列，可以充当Filebeat（或其他日志收集器）和Logstash（或其他日志处理组件）之间的缓冲层。Filebeat可以将日志数据异步地发送到Kafka，而不需要等待Logstash的即时响应。这样，即使Logstash暂时无法处理数据，Kafka也可以暂时存储数据，直到Logstash恢复处理能力。

  2. 水平扩展：
    随着日志量的增长，Kafka可以通过添加更多的节点（brokers）来实现水平扩展。这种扩展方式使得Kafka能够处理更多的并发写入和读取操作，而不会遇到单点故障或性能瓶颈。此外，Kafka的分布式架构还允许数据在多个节点之间进行复制，以提高数据的可靠性和容错性。

  3. 实时数据处理：
    Kafka支持实时数据流处理，使得日志数据可以立即被消费和处理。这意味着一旦日志数据被写入Kafka，就可以立即被Logstash（或其他流处理工具）读取和处理，以满足实时分析、监控和告警的需求。

  4. 数据持久化：
    Kafka将数据持久化到磁盘上，以确保即使在系统崩溃或重启的情况下，数据也不会丢失。这种持久化机制使得Kafka成为了一个可靠的数据传输和存储平台，特别适用于对日志数据进行长期存储和分析的场景。

  5. 多消费者支持：
    Kafka允许多个消费者（如Logstash、其他数据分析工具或应用）从同一个主题（topic）中消费数据。这意味着您可以同时运行多个消费者来处理和分析日志数据，以满足不同的业务需求和数据使用场景。

  6. 可定制性和灵活性：
    Kafka提供了丰富的API和工具，使得您可以轻松地定制和扩展日志收集系统。例如，您可以编写自定义的Kafka生产者来收集特定格式的日志数据，或者编写自定义的Kafka消费者来处理和分析日志数据。

  7. 与其他系统的集成：
    Kafka是一个广泛使用的消息队列系统，它支持与其他各种系统和工具进行集成。这意味着您可以将Kafka轻松地集成到现有的日志收集、处理、存储和分析系统中，以构建一个更加健壮、可扩展和灵活的日志收集平台。

        综上所述，当日志量变得非常大时，在日志收集平台中加入Kafka可以显著提高系统的性能、可靠性和可扩展性。通过利用Kafka的缓冲、异步处理、水平扩展、实时数据处理、数据持久化、多消费者支持、可定制性和与其他系统的集成能力，您可以构建一个更加健壮、高效和灵活的日志收集系统。

        有需要本次实验软件包的评论区可以找我要，无偿提供。

架构图

资源列表

操作系统配置主机名IP
CentOS7.3.16112C4Ges01192.168.207.131
CentOS7.3.16112C4Gkibana192.168.207.165
CentOS7.3.16112C4Gfilebeat192.168.207.166
CentOS7.3.16112C4Gkafka192.168.207.167
CentOS7.3.16112C4Glogstash192.168.207.168

基础环境

关闭防护墙

systemctl stop firewalld
systemctl disable firewalld

关闭内核安全机制

sed -i "s/.*SELINUX=.*/SELINUX=disabled/g" /etc/selinux/config
reboot

修改主机名

hostnamectl set-hostname es01
hostnamectl set-hostname kibana
hostnamectl set-hostname filebeat
hostnamectl set-hostname kafka
hostnamectl set-hostname logstash

添加hosts映射

cat >> /etc/hosts << EOF
192.168.207.131 es01
192.168.207.165 kibana
192.168.207.166 filebeat
192.168.207.167 kafka
192.168.207.168 logstash
EOF

一、部署elasticsearch

修改limit限制

cat > /etc/security/limits.d/es.conf << EOF
* soft nproc 655360
* hard nproc 655360
* soft nofile 655360
* hard nofile 655360
EOF
​
cat >> /etc/sysctl.conf << EOF
vm.max_map_count=655360
EOF
sysctl -p

部署elasticsearch

mkdir -p /data/elasticsearch
tar zxvf elasticsearch-7.14.0-linux-x86_64.tar.gz -C /data/elasticsearch

修改配置文件

mkdir /data/elasticsearch/{data,logs}

[root@es01 elasticsearch-7.14.0]# grep -v "^#" /data/elasticsearch/elasticsearch-7.14.0/config/elasticsearch.yml
cluster.name: my-application
node.name: es01
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["es01"]

启动

useradd es 
chown -R es:es /data/
su - es
/data/elasticsearch/elasticsearch-7.14.0/bin/elasticsearch -d

二、部署filebeat

部署filebeat

mkdir -p /data/filebeat
tar zxvf filebeat-7.14.0-linux-x86_64.tar.gz -C /data/filebeat/

添加配置文件

这里提供了两份filebeat配置文件的参考

[root@filebeat filebeat-7.14.0-linux-x86_64]# cat filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/messages         ###要监控的日志文件
setup.template.settings:
  index.number_of_shards: 3
output.kafka:
  #version:0.10.2             ### 根据不同 CKafka 实例开源版本配置
  hosts: ["192.168.207.167:9092"]  ###接入方式所用的IP和端口
  topic: 'topic_test1'       ###topic实例名
  partition.round_robin:
    reachable_only: false
  required_acks: 1
  compression: none
  max_message_bytes: 10000000

[root@filebeat filebeat-7.14.0-linux-x86_64]# cat filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/httpd/access_log         ###要监控的日志文件
  fields:
    kafka_topic: httpd_access
- type: log
  enabled: true
  paths:
    - /var/log/httpd/error_log         ###要监控的日志文件
  fields:
    kafka_topic: httpd_error
setup.template.settings:
  index.number_of_shards: 3
output.kafka:
  #version:0.10.2             ### 根据不同 CKafka 实例开源版本配置
  hosts: ["192.168.207.167:9092"]  ###接入方式所用的IP和端口
  topic: '%{[fields.kafka_topic]}'       ###topic实例名
  partition.round_robin:
    reachable_only: false
  required_acks: 1
  compression: none
  max_message_bytes: 10000000

启动

/data/filebeat/filebeat-7.14.0-linux-x86_64/filebeat -e -c filebeat.yml

三、部署kibana

部署kibana

mkdir -p /data/kibana
tar zxvf kibana-7.14.0-linux-x86_64.tar.gz -C /data/kibana/

修改配置文件

grep -v "^#" /data/kibana/kibana-7.14.0-linux-x86_64/config/kibana.yml  | grep -v "^$"
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.207.131:9200"]
kibana.index: ".kibana"

启动

useradd kibana
chown -R kibana:kibana /data 
su - kibana
/data/kibana/kibana-7.14.0-linux-x86_64/bin/kibana

四、部署Kafka

安装java

# 安装java环境
yum -y install java-1.8.0-openjdk

安装kafka

tar zxvf kafka_2.12-3.0.0.tgz
mv kafka_2.12-3.0.0 /usr/local/kafka

配置环境变量

# 配置环境变量
cat > /etc/profile.d/zookeeper.sh << 'EOF'
export ZOOKEEPER_HOME=/usr/local/kafka
export PATH=$ZOOKEEPER_HOME/bin:$PATH
EOF

cat > /etc/profile.d/kafka.sh << 'EOF'
export KAFKA_HOME=/usr/local/kafka
export PATH=$KAFKA_HOME/bin:$PATH
EOF

source /etc/profile

创建数据存储目录和日志存储目录

mkdir -p /usr/local/kafka/zookeeper
mkdir -p /usr/local/kafka/log/zookeeper
mkdir -p /usr/local/kafka/log/kafka

# 创建zk需要的myid文件
echo 0 > /usr/local/kafka/zookeeper/myid

修改zk配置文件

# 注意Kafka安装目录下的config目录里
server.properties             #是Kafka的配置文件
zookeeper.properties          #是zookeeper的配置文件
cat >> /usr/local/kafka/config/zookeeper.properties << EOF
dataLogDir=/usr/local/kafka/log/zookeeper
tickTime=2000
initLimit=10
syncLimit=5
server.0=192.168.207.167:2888:3888
EOF

sed -i "s/dataDir\=\/tmp\/zookeeper/dataDir\=\/usr\/local\/kafka\/zookeeper/g" /usr/local/kafka/config/zookeeper.properties

修改Kafka配置文件

# /usr/local/kafka/config/server.properties修改

listeners=PLAINTEXT://192.168.207.167:9092
advertised.listeners=PLAINTEXT://192.168.207.167:9092
log.dirs=/usr/local/kafka/log/kafka
delete.topic.enable=true
zookeeper.connect=192.168.207.167:2181

启动zk

/usr/local/kafka/bin/zookeeper-server-start.sh -daemon /usr/local/kafka/config/zookeeper.properties

启动Kafka

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

测试

# 创建一个topic
[root@kafka kafka]# bin/kafka-topics.sh --create --bootstrap-server 192.168.207.167:9092 --replication-factor 1   --partitions 1 --topic Hello-Kafka
Created topic Hello-Kafka.

# 往topic里面输入消息
[root@kafka kafka]# /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.207.167:9092 --topic Hello-Kafka

# 从topic里面消费消息
[root@kafka ~]# /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.207.167:9092 --topic Hello-Kafka --from-beginning

# 查看topic列表
[root@kafka kafka]# /usr/local/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.207.167:9092 --list
Hello-Kafka

# 删除topic
[root@kafka kafka]# bin/kafka-topics.sh --delete --bootstrap-server 192.168.207.167:9092 --topic Hello-Kafka

五、部署logstash

部署logstash

mkdir -p /data/logstash
tar zxvf logstash-7.14.0-linux-x86_64.tar.gz -C /data/logstash/

添加配置文件

mkdir /data/logstash/logstash-7.14.0/conf.d

cat > /data/logstash/logstash-7.14.0/conf.d/system.conf << 'EOF'
input { 
  kafka{ 
    bootstrap_servers =>"192.168.207.167:9092" 
    topics =>"topic_test1" 
    type =>"topic_test1"
    codec =>"json" 
  } 
}
output { 
  if [type] == "topic_test1" {
  elasticsearch { 
    hosts => ["192.168.207.131:9200"] 
    index =>"kafka-system-%{+YYYY.MM.dd}" 
  } 
  }
}

EOF
cat > /data/logstash/logstash-7.14.0/conf.d/httpd.conf << 'EOF'
input { 
  kafka{ 
    bootstrap_servers =>"192.168.207.167:9092" 
    topics =>"httpd_access" 
    type =>"httpd_access"
    codec =>"json" 
  } 
  kafka{ 
    bootstrap_servers =>"192.168.207.167:9092" 
    topics =>"httpd_error" 
    type =>"httpd_error"
    codec =>"json" 
  }
}
output { 
  if [type] == "httpd_access" {
  elasticsearch { 
    hosts => ["192.168.207.131:9200"] 
    index =>"httpd-access-%{+YYYY.MM.dd}" 
  } 
  }
  if [type] == "httpd_error" {
  elasticsearch { 
    hosts => ["192.168.207.131:9200"] 
    index =>"httpd-error-%{+YYYY.MM.dd}" 
  } 
  }
}

EOF

启动

/data/logstash/logstash-7.14.0/bin/logstash -f /data/logstash/logstash-7.14.0/conf.d/

畅云客
关注
专栏目录
基于kafka的web日志收集项目
09-11
在本项目中，我们构建了一个基于Kafka的Web日志收集系统，旨在模拟企业环境中日志的收集、存储、消费和分析过程。涉及的关键技术包括Nginx、Keepalived、Filebeat、Kafka、Zookeeper、MySQL和CentOS。下面将详细介绍...
附加数据源kafka日志数据采集
weixin_57821489的博客
03-24 1090
附加数据源：kafka kafka是一款由Apache软件基金会开源，采用Scala语言编写的一个基于zookeeper的分布式发布订阅消息系统。kafka最初是由LinkedIn开发，并于2011年初被贡献给了Apache基金会并成为顶级开源项目。kafka最初的设计目的是制作一个低延时、高吞吐（同时能传输的数据量）并且高可的消息队列。简单的说就是负责将数据从一个应用传递到另外一个应用，各个应用只需关注于数据的使用，无需关注数据在是如何传递的工具。 kafka的架构如下图所示： 1.Record：kafk
基于kafka的日志收集
qq_52077701的博客
08-13 6354
关于收集前端nginx web静态页面的访问日志，通过filebeat统一存入kafka集群，借助淘宝对日志进行清晰，将json格式日志清洗转化为业务需要的信息（eg:ip省份、运营商、带宽、日志产生时间等）保存到数据库中，同时借助celery通过设置阈值对日志进行实时监控并报警.........
Kafka服务端日志详解
最新发布
qq_44027353的博客
08-10 2159
进入到上方配置文件中指定的目录下查看，topic的数据都是以topic名 + partition下标的命名方式保存的我们现在进入其中一个partition目录.index日志索引文件，采用的稀疏索引提高查询效率，记录的是消息偏移量offset 和 该消息在.log文件中的位置position.log消息保存在.log文件中，是以二进制的方式保存的。可以通过.index和.timeindex两个索引文件加速查找消息。
springboot整合ELK+kafka采集日志
qq_38639813的博客
07-26 3539
在分布式的项目中，各功能模块产生的日志比较分散，同时为满足性能要求，同一个微服务会集群化部署，当某一次业务报错后，如果不能确定产生的节点，那么只能逐个节点去查看日志文件；logback中RollingFileAppender，ConsoleAppender这类同步化记录器也降低系统性能，综上一些问题，可能考虑采用ELK （elasticsearch+logstash+kibana）配合消息中间件去异步采集，统一展示去解决。这里之所以要加入kafka是因为。
基于kafka的日志收集分析平台搭建
lcsgdsg1203的博客
09-05 638
进入apache-zookeeper-3.6.4-bin目录，所有可执行文件都在bin目录下，启动前一定要确保防火墙已经关闭。每台机器都配置好相应的主机名和ip地址，kafka集群还要配置好域名解析，这里以nginx-kafka01为例。准备三台机器组成nginx集群，主机名分别修改为nginx01、nginx02、nginx03。进入/opt/apache-zookeeper-3.6.4-bin/conf。进入/opt/kafka_2.12-2.8.1/config。
分布式日志采集（elk+kafka）
qq_40322236的博客
03-24 2292
分布式系统的日志，每个服务器节点web服务都会产生各自的日志文件，如果想要整合或者排查日志，就需要到每个节点下逐一查看日志文件这样会比较麻烦。所以需要一个方案将日志采集放到一个位置进行存储和查询。这里就可以使用elk+kafka的方式解决。
实战：kafka实现日志收集系统
chuanchengdabing的博客
11-17 5643
Kafka作业 使用Kafka做日志收集。 一、需要收集的信息： 1、用户ID（user_id） 2、时间（act_time） 3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload） 4、对方企业编码（job_code） 二、工作流程： 1、HTML可以理解为拉勾的职位浏览页面 2、用户的操作会由Web服务器进行响应。 3、同时用户的操作也会使用ajax向Nginx发送请求，nginx用于收集用户的点击数据流。
kafka+flume 实时采集oracle数据到hive中.docx
08-11
基于Kafka+Flume实时采集Oracle数据到Hive中 一、Kafka获取Oracle日志实时数据 Kafka是一种分布式流媒体平台，能够实时地从Oracle数据库中提取日志信息。为了实现这一点，需要先安装ZooKeeper和Kafka，然后配置...
java基于spark streaming和kafka，hbase的日志统计分析系统.rar
10-19
总结来说，这个"java基于spark streaming和kafka，hbase的日志统计分析系统"是一个集成的解决方案，通过Java编程，利用Kafka收集和分发实时日志，Spark Streaming进行实时处理，最后将结果存储在HBase中，实现了高效...
flume+kafka+sparkStream+redis实时日志采集.docx
12-20
在构建实时日志采集系统时，常常会使用到...以上是一个基于Flume、Kafka、Spark Streaming和Redis构建的实时日志采集和处理系统的简要概述。在实际应用中，还需要考虑系统扩展性、容错性、数据安全以及性能优化等问题。
Kubernetes日志采集与分析的最佳实践
02-14
日志采集方法涵盖Agent、Push、Pull、主动上报和自动埋点等，通过HTTP、Kafka或私有协议上报。日志的格式可以无结构、半结构化或结构化，不同的格式对日志分析的便利性与可靠性都有影响。 在Kubernetes中，日志的...
ELK+Filebeat+Kafka日志采集
bright的博客
02-24 1831
我的开源微服务前后端分离博客项目地址，欢迎各位star 博主技术博客地址 欢迎大家进群，一起讨论学习 1.ELK2. ELFK3. 架构演进ELK缺点：ELK架构，并且Spring Boot应用使用 logstash-logback-encoder 直接发送给 Logstash，缺点就是Logstash是重量级日志收集server，占用cpu资源高且内存占用比较高ELFK缺点：一定程度上解决了ELK中Logstash的不足，但是由于Beats 收集的每秒数据量越来越大，Logstash 可能无法承载这么大
SpringBoot+Kafka+ELK 完成海量日志收集（超详细）
D1561691的博客
03-31 525
当然在这还有更多整理总结的Java进阶学习笔记和面试题未展示，其中囊括了。
【Kafka】kafka日志收集平台搭建（二）
Stephen_Daa的博客
04-09 876
继上一篇博文初步搭建好kafka+zookeeper+filebeat的集群平台后,这次我们继续给此集群添加功能并完善.
基于kafka(3.0版本之前)的日志收集
m0_54255157的博客
08-03 488
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。
kafka日志收集平台（原理）
weixin_44423210的博客
07-28 2838
基于kafka的日志收集平台，了解kafka及zookeeper的工作原理
利用Kafka实现数据吞吐量更高的实时日志处理
BXA
06-18 3420
Kafka是一种高吞吐量、分布式、可扩展、无中心化的消息引擎，最初由LinkedIn公司开发，后来成为了Apache的一个顶级项目。Kafka使用类别解耦的方式将消息发送者和消息接受者进行解耦合，支持发布/订阅和点对点式的消息传递机制，可满足多种场景下的数据传输需求。Kafka集群：Kafka版本：2.8.0消息存储：使用单副本分区数：3主题数：1集群规模：3个节点数据生成：使用Java编写模拟数据生成器数据格式：JSON，每条消息大小约为200B。
通过ELK+kafka采集微服务日志
不打拉东的专栏
03-28 1492
在分布式的项目中，各功能模块产生的日志比较分散，同时为满足性能要求，同一个微服务会集群化的部署，当某一次业务中报错后，如果不能确定产生的节点，那么只能逐个节点去查看日志文件，logback中RollingFileAppender，ConsoleAppender这类同步化记录器也降低系统性能，综上一些问题，可能考虑采用ELK （elasticsearch+logstash+kibana）配合消息中间件去异步采集，统一展示去解决。同样再创建一份docker-compose.yml，然后构建服务,
基于Flume的日志采集系统
03-26
Flume是一个可靠、可扩展的分布式服务，用于高效地收集、聚合和移动大量的日志数据和事件。 Flume采用了基于数据流的体系结构，其主要目的是将数据从不同的数据源（例如Web服务器、数据库等）采集并将其传输到目标位置（例如Hadoop、Elasticsearch等）。在日志采集中，Flume通常被用作采集工具，它可以将日志数据收集到集中的位置，方便后续处理和分析。 Flume的体系结构由三个主要组件组成：Source、Channel和Sink。Source用于从数据源中获取数据，例如从日志文件、网络接口、系统日志等收集数据。Channel是一种缓冲机制，用于将数据从Source传输到Sink。Sink负责将数据发送到目标位置，例如将日志数据写入Hadoop HDFS或Apache Kafka等分布式消息系统中。Flume支持不同的Source和Sink，因此可以很容易地对不同类型的数据源进行采集和分发。 在使用Flume构建日志采集系统时，可以使用以下步骤： 1.选择和配置Source，例如使用TailSource从文件中收集日志数据。 2.选择和配置Channel，例如使用MemoryChannel将数据保存在内存中进行传输。 3.选择和配置Sink，例如使用HDFSSink将数据写入Hadoop HDFS中。 4.设置事件处理器，例如使用Interceptors进行数据转换和转发。 5.启动Flume Agent并监视其状态。 通过这些步骤，可以使用Flume快速构建高可用、高扩展性的日志采集系统。Flume还提供了灵活的配置选项和监视工具，可以方便地对系统进行管理和维护。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值