基于Kafka的日志采集

已于 2024-05-24 11:50:38 修改
阅读量2k 收藏 23
点赞数 38
分类专栏： ELK 文章标签： kafka linq jenkins java 运维 云计算 es
于 2024-05-24 11:48:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33906471/article/details/139169728
版权

目录

前言

架构图

资源列表

基础环境

关闭防护墙

关闭内核安全机制

修改主机名

添加hosts映射

一、部署elasticsearch

修改limit限制

部署elasticsearch

修改配置文件

启动

二、部署filebeat

部署filebeat

添加配置文件

启动

三、部署kibana

部署kibana

修改配置文件

启动

四、部署Kafka

安装java

安装kafka

配置环境变量

创建数据存储目录和日志存储目录

修改zk配置文件

修改Kafka配置文件

启动zk

启动Kafka

测试

五、部署logstash

部署logstash

添加配置文件

启动

前言

        当日志量变得非常大时，传统的日志收集平台可能会遇到性能瓶颈、单点故障或扩展性问题。在这种情况下，引入消息队列（如Kafka）可以显著增强日志收集系统的健壮性、可扩展性和实时性。

以下是当在日志收集平台中加入Kafka时，可以带来的优势和改进：

  1. 缓冲和异步处理：
    Kafka作为一个消息队列，可以充当Filebeat（或其他日志收集器）和Logstash（或其他日志处理组件）之间的缓冲层。Filebeat可以将日志数据异步地发送到Kafka，而不需要等待Logstash的即时响应。这样，即使Logstash暂时无法处理数据，Kafka也可以暂时存储数据，直到Logstash恢复处理能力。

  2. 水平扩展：
    随着日志量的增长，Kafka可以通过添加更多的节点（brokers）来实现水平扩展。这种扩展方式使得Kafka能够处理更多的并发写入和读取操作，而不会遇到单点故障或性能瓶颈。此外，Kafka的分布式架构还允许数据在多个节点之间进行复制，以提高数据的可靠性和容错性。

  3. 实时数据处理：
    Kafka支持实时数据流处理，使得日志数据可以立即被消费和处理。这意味着一旦日志数据被写入Kafka，就可以立即被Logstash（或其他流处理工具）读取和处理，以满足实时分析、监控和告警的需求。

  4. 数据持久化：
    Kafka将数据持久化到磁盘上，以确保即使在系统崩溃或重启的情况下，数据也不会丢失。这种持久化机制使得Kafka成为了一个可靠的数据传输和存储平台，特别适用于对日志数据进行长期存储和分析的场景。

  5. 多消费者支持：
    Kafka允许多个消费者（如Logstash、其他数据分析工具或应用）从同一个主题（topic）中消费数据。这意味着您可以同时运行多个消费者来处理和分析日志数据，以满足不同的业务需求和数据使用场景。

  6. 可定制性和灵活性：
    Kafka提供了丰富的API和工具，使得您可以轻松地定制和扩展日志收集系统。例如，您可以编写自定义的Kafka生产者来收集特定格式的日志数据，或者编写自定义的Kafka消费者来处理和分析日志数据。

  7. 与其他系统的集成：
    Kafka是一个广泛使用的消息队列系统，它支持与其他各种系统和工具进行集成。这意味着您可以将Kafka轻松地集成到现有的日志收集、处理、存储和分析系统中，以构建一个更加健壮、可扩展和灵活的日志收集平台。

        综上所述，当日志量变得非常大时，在日志收集平台中加入Kafka可以显著提高系统的性能、可靠性和可扩展性。通过利用Kafka的缓冲、异步处理、水平扩展、实时数据处理、数据持久化、多消费者支持、可定制性和与其他系统的集成能力，您可以构建一个更加健壮、高效和灵活的日志收集系统。

        有需要本次实验软件包的评论区可以找我要，无偿提供。

架构图

资源列表

操作系统配置主机名IP
CentOS7.3.16112C4Ges01192.168.207.131
CentOS7.3.16112C4Gkibana192.168.207.165
CentOS7.3.16112C4Gfilebeat192.168.207.166
CentOS7.3.16112C4Gkafka192.168.207.167
CentOS7.3.16112C4Glogstash192.168.207.168

基础环境

关闭防护墙

systemctl stop firewalld
systemctl disable firewalld

关闭内核安全机制

sed -i "s/.*SELINUX=.*/SELINUX=disabled/g" /etc/selinux/config
reboot

修改主机名

hostnamectl set-hostname es01
hostnamectl set-hostname kibana
hostnamectl set-hostname filebeat
hostnamectl set-hostname kafka
hostnamectl set-hostname logstash

添加hosts映射

cat >> /etc/hosts << EOF
192.168.207.131 es01
192.168.207.165 kibana
192.168.207.166 filebeat
192.168.207.167 kafka
192.168.207.168 logstash
EOF

一、部署elasticsearch

修改limit限制

cat > /etc/security/limits.d/es.conf << EOF
* soft nproc 655360
* hard nproc 655360
* soft nofile 655360
* hard nofile 655360
EOF
​
cat >> /etc/sysctl.conf << EOF
vm.max_map_count=655360
EOF
sysctl -p

部署elasticsearch

mkdir -p /data/elasticsearch
tar zxvf elasticsearch-7.14.0-linux-x86_64.tar.gz -C /data/elasticsearch

修改配置文件

mkdir /data/elasticsearch/{data,logs}

[root@es01 elasticsearch-7.14.0]# grep -v "^#" /data/elasticsearch/elasticsearch-7.14.0/config/elasticsearch.yml
cluster.name: my-application
node.name: es01
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["es01"]

启动

useradd es 
chown -R es:es /data/
su - es
/data/elasticsearch/elasticsearch-7.14.0/bin/elasticsearch -d

二、部署filebeat

部署filebeat

mkdir -p /data/filebeat
tar zxvf filebeat-7.14.0-linux-x86_64.tar.gz -C /data/filebeat/

添加配置文件

这里提供了两份filebeat配置文件的参考

[root@filebeat filebeat-7.14.0-linux-x86_64]# cat filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/messages         ###要监控的日志文件
setup.template.settings:
  index.number_of_shards: 3
output.kafka:
  #version:0.10.2             ### 根据不同 CKafka 实例开源版本配置
  hosts: ["192.168.207.167:9092"]  ###接入方式所用的IP和端口
  topic: 'topic_test1'       ###topic实例名
  partition.round_robin:
    reachable_only: false
  required_acks: 1
  compression: none
  max_message_bytes: 10000000

[root@filebeat filebeat-7.14.0-linux-x86_64]# cat filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/httpd/access_log         ###要监控的日志文件
  fields:
    kafka_topic: httpd_access
- type: log
  enabled: true
  paths:
    - /var/log/httpd/error_log         ###要监控的日志文件
  fields:
    kafka_topic: httpd_error
setup.template.settings:
  index.number_of_shards: 3
output.kafka:
  #version:0.10.2             ### 根据不同 CKafka 实例开源版本配置
  hosts: ["192.168.207.167:9092"]  ###接入方式所用的IP和端口
  topic: '%{[fields.kafka_topic]}'       ###topic实例名
  partition.round_robin:
    reachable_only: false
  required_acks: 1
  compression: none
  max_message_bytes: 10000000

启动

/data/filebeat/filebeat-7.14.0-linux-x86_64/filebeat -e -c filebeat.yml

三、部署kibana

部署kibana

mkdir -p /data/kibana
tar zxvf kibana-7.14.0-linux-x86_64.tar.gz -C /data/kibana/

修改配置文件

grep -v "^#" /data/kibana/kibana-7.14.0-linux-x86_64/config/kibana.yml  | grep -v "^$"
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.207.131:9200"]
kibana.index: ".kibana"

启动

useradd kibana
chown -R kibana:kibana /data 
su - kibana
/data/kibana/kibana-7.14.0-linux-x86_64/bin/kibana

四、部署Kafka

安装java

# 安装java环境
yum -y install java-1.8.0-openjdk

安装kafka

tar zxvf kafka_2.12-3.0.0.tgz
mv kafka_2.12-3.0.0 /usr/local/kafka

配置环境变量

# 配置环境变量
cat > /etc/profile.d/zookeeper.sh << 'EOF'
export ZOOKEEPER_HOME=/usr/local/kafka
export PATH=$ZOOKEEPER_HOME/bin:$PATH
EOF

cat > /etc/profile.d/kafka.sh << 'EOF'
export KAFKA_HOME=/usr/local/kafka
export PATH=$KAFKA_HOME/bin:$PATH
EOF

source /etc/profile

创建数据存储目录和日志存储目录

mkdir -p /usr/local/kafka/zookeeper
mkdir -p /usr/local/kafka/log/zookeeper
mkdir -p /usr/local/kafka/log/kafka

# 创建zk需要的myid文件
echo 0 > /usr/local/kafka/zookeeper/myid

修改zk配置文件

# 注意Kafka安装目录下的config目录里
server.properties             #是Kafka的配置文件
zookeeper.properties          #是zookeeper的配置文件
cat >> /usr/local/kafka/config/zookeeper.properties << EOF
dataLogDir=/usr/local/kafka/log/zookeeper
tickTime=2000
initLimit=10
syncLimit=5
server.0=192.168.207.167:2888:3888
EOF

sed -i "s/dataDir\=\/tmp\/zookeeper/dataDir\=\/usr\/local\/kafka\/zookeeper/g" /usr/local/kafka/config/zookeeper.properties

修改Kafka配置文件

# /usr/local/kafka/config/server.properties修改

listeners=PLAINTEXT://192.168.207.167:9092
advertised.listeners=PLAINTEXT://192.168.207.167:9092
log.dirs=/usr/local/kafka/log/kafka
delete.topic.enable=true
zookeeper.connect=192.168.207.167:2181

启动zk

/usr/local/kafka/bin/zookeeper-server-start.sh -daemon /usr/local/kafka/config/zookeeper.properties

启动Kafka

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

测试

# 创建一个topic
[root@kafka kafka]# bin/kafka-topics.sh --create --bootstrap-server 192.168.207.167:9092 --replication-factor 1   --partitions 1 --topic Hello-Kafka
Created topic Hello-Kafka.

# 往topic里面输入消息
[root@kafka kafka]# /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.207.167:9092 --topic Hello-Kafka

# 从topic里面消费消息
[root@kafka ~]# /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.207.167:9092 --topic Hello-Kafka --from-beginning

# 查看topic列表
[root@kafka kafka]# /usr/local/kafka/bin/kafka-topics.sh --bootstrap-server 192.168.207.167:9092 --list
Hello-Kafka

# 删除topic
[root@kafka kafka]# bin/kafka-topics.sh --delete --bootstrap-server 192.168.207.167:9092 --topic Hello-Kafka

五、部署logstash

部署logstash

mkdir -p /data/logstash
tar zxvf logstash-7.14.0-linux-x86_64.tar.gz -C /data/logstash/

添加配置文件

mkdir /data/logstash/logstash-7.14.0/conf.d

cat > /data/logstash/logstash-7.14.0/conf.d/system.conf << 'EOF'
input { 
  kafka{ 
    bootstrap_servers =>"192.168.207.167:9092" 
    topics =>"topic_test1" 
    type =>"topic_test1"
    codec =>"json" 
  } 
}
output { 
  if [type] == "topic_test1" {
  elasticsearch { 
    hosts => ["192.168.207.131:9200"] 
    index =>"kafka-system-%{+YYYY.MM.dd}" 
  } 
  }
}

EOF
cat > /data/logstash/logstash-7.14.0/conf.d/httpd.conf << 'EOF'
input { 
  kafka{ 
    bootstrap_servers =>"192.168.207.167:9092" 
    topics =>"httpd_access" 
    type =>"httpd_access"
    codec =>"json" 
  } 
  kafka{ 
    bootstrap_servers =>"192.168.207.167:9092" 
    topics =>"httpd_error" 
    type =>"httpd_error"
    codec =>"json" 
  }
}
output { 
  if [type] == "httpd_access" {
  elasticsearch { 
    hosts => ["192.168.207.131:9200"] 
    index =>"httpd-access-%{+YYYY.MM.dd}" 
  } 
  }
  if [type] == "httpd_error" {
  elasticsearch { 
    hosts => ["192.168.207.131:9200"] 
    index =>"httpd-error-%{+YYYY.MM.dd}" 
  } 
  }
}

EOF

启动

/data/logstash/logstash-7.14.0/bin/logstash -f /data/logstash/logstash-7.14.0/conf.d/

畅云客
关注
专栏目录
附加数据源kafka日志数据采集
weixin_57821489的博客
03-24 1104
附加数据源：kafka kafka是一款由Apache软件基金会开源，采用Scala语言编写的一个基于zookeeper的分布式发布订阅消息系统。kafka最初是由LinkedIn开发，并于2011年初被贡献给了Apache基金会并成为顶级开源项目。kafka最初的设计目的是制作一个低延时、高吞吐（同时能传输的数据量）并且高可的消息队列。简单的说就是负责将数据从一个应用传递到另外一个应用，各个应用只需关注于数据的使用，无需关注数据在是如何传递的工具。 kafka的架构如下图所示： 1.Record：kafk
基于Filebeat和kafka日志采集方案
m0_37261091的博客
02-23 1963
整体方案 日志文件以固定大小进行切割，使用filebeat监控日志目录，实时采集写入kafka中，并通过python kafka消费入库。 Filebeat Filebeat是本地文件的日志数据采集器，监听日志目录或特定文件，并将它们转发给ElastickSearch、Logstash、Kafka中。它由三个主要组件组成： Prospector 负责检测指定日志目录或文件，并对检测到的每个日...
Kafka + ELK实现日志采集
2401_85112269的博客
05-25 306
ELK是Elasticsearch + Logstash + Kibana三个组件的简称。：是一个分布式可扩展的实时搜索和分析引擎。：是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。：是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。，为了避免版本冲突的问题，下载的时候三个组件的版本最好选择相同的。
基于Flume+LOG4J+Kafka的日志采集架构方案
weixin_30537451的博客
05-08 343
本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、Sink三个最基本的概念： Source——日志来源，其中包括：Avro Source、Thrift Source、...
Kafka服务端日志详解
最新发布
qq_44027353的博客
08-10 2721
进入到上方配置文件中指定的目录下查看，topic的数据都是以topic名 + partition下标的命名方式保存的我们现在进入其中一个partition目录.index日志索引文件，采用的稀疏索引提高查询效率，记录的是消息偏移量offset 和 该消息在.log文件中的位置position.log消息保存在.log文件中，是以二进制的方式保存的。可以通过.index和.timeindex两个索引文件加速查找消息。
依据kafka做的日志收集设计
08-26
依据kafka做的日志收集设计，国外英文paper
基于kafka的日志收集
qq_52077701的博客
08-13 6435
关于收集前端nginx web静态页面的访问日志，通过filebeat统一存入kafka集群，借助淘宝对日志进行清晰，将json格式日志清洗转化为业务需要的信息（eg:ip省份、运营商、带宽、日志产生时间等）保存到数据库中，同时借助celery通过设置阈值对日志进行实时监控并报警.........
Kafka 业务日志采集最佳实践
观测云的博客
05-08 889
本文介绍如何通过观测云的采集器 Datakit 采集 Kafka 中的业务日志。
Kafka日志收集简单实现
wzbwzt的博客
07-17 3627
Kafka日志收集实现 使用github.com/Shopify/sarama连接kafka，并往其中写数据 使用github.com/hpcloud/tail读取日志文件 使用zookeeper做集群管理 使用ini做配置文件解析 关于Kafka原理及工作流程见https://blog.csdn.net/wzb_wzt/article/details/107367245 初始化kafka连接、以及往kafka发送数据的方法 package kafka import ( "fmt" "gith
kafka日志采集
m0_46325101的博客
08-09 195
https://cloud.tencent.com/developer/article/1328815 https://github.com/yoyofx/NetCore_YOYOFxhttps://github.com/yoyofx/NetCore_YOYOFx logback获取日志输出到文件+kafka (自定义的kafkaAppender) https://blog.csdn.net/chujing2309/article/details/100758685 ...
基于kafka，zookeeper实现的日志收集平台搭建
qq_57472200的博客
08-14 1879
l项目描述：分别使用3台Linux服务器来作为nginx集群搭建前端web服务，kafka集群和zookeeper集群,2台Linux机器做反向代理集群。
Flume + kafka + log4j构建日志采集系统
08-30
Flume + kafka + log4j构建日志采集系统，附实例及文档。
基于kafka的web日志收集项目
09-11
在本项目中，我们构建了一个基于Kafka的Web日志收集系统，旨在模拟企业环境中日志的收集、存储、消费和分析过程。涉及的关键技术包括Nginx、Keepalived、Filebeat、Kafka、Zookeeper、MySQL和CentOS。下面将详细介绍...
Elasticsearch+Fluentd+Kafka搭建日志系统
01-20
本文将重点介绍如何构建一个基于EFK的日志系统，不过Kibana的日志展示部分不在此讨论范围内。 **前提条件** 首先，确保已安装Docker和Docker Compose，因为我们将使用它们来快速部署服务。Apache Kafka是日志数据...
项目使用kafka实现日志收集
wangjieh的博客
06-02 411
在项目中，我们需要实现对一些关键信息的收集，当数据量大的都写进日志有时候并不能达到排除需求，所以我们需要用到kafka存入数据 图上是对kafka的初步总结
使用Kafka做日志收集。
weixin_43960071的博客
01-18 959
需要收集的信息： 1、用户ID（user_id） 2、时间（act_time） 3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload） 4、对方企业编码（job_code） 1、HTML可以理解为拉勾的职位浏览页面 2、Nginx用于收集用户的点击数据流，记录日志access.log 3、将Nginx收集的日志数据发送到Kafka主题：tp_individual 架构： HTML+Nginx+ngx_kafka_module+K
实战：kafka实现日志收集系统
chuanchengdabing的博客
11-17 5753
Kafka作业 使用Kafka做日志收集。 一、需要收集的信息： 1、用户ID（user_id） 2、时间（act_time） 3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload） 4、对方企业编码（job_code） 二、工作流程： 1、HTML可以理解为拉勾的职位浏览页面 2、用户的操作会由Web服务器进行响应。 3、同时用户的操作也会使用ajax向Nginx发送请求，nginx用于收集用户的点击数据流。
kafka日志收集平台（原理）
weixin_44423210的博客
07-28 2861
基于kafka的日志收集平台，了解kafka及zookeeper的工作原理
基于kafka的日志收集分析平台搭建
lcsgdsg1203的博客
09-05 668
进入apache-zookeeper-3.6.4-bin目录，所有可执行文件都在bin目录下，启动前一定要确保防火墙已经关闭。每台机器都配置好相应的主机名和ip地址，kafka集群还要配置好域名解析，这里以nginx-kafka01为例。准备三台机器组成nginx集群，主机名分别修改为nginx01、nginx02、nginx03。进入/opt/apache-zookeeper-3.6.4-bin/conf。进入/opt/kafka_2.12-2.8.1/config。
基于Flume的日志采集系统
03-26
Flume是一个可靠、可扩展的分布式服务，用于高效地收集、聚合和移动大量的日志数据和事件。 Flume采用了基于数据流的体系结构，其主要目的是将数据从不同的数据源（例如Web服务器、数据库等）采集并将其传输到目标位置（例如Hadoop、Elasticsearch等）。在日志采集中，Flume通常被用作采集工具，它可以将日志数据收集到集中的位置，方便后续处理和分析。 Flume的体系结构由三个主要组件组成：Source、Channel和Sink。Source用于从数据源中获取数据，例如从日志文件、网络接口、系统日志等收集数据。Channel是一种缓冲机制，用于将数据从Source传输到Sink。Sink负责将数据发送到目标位置，例如将日志数据写入Hadoop HDFS或Apache Kafka等分布式消息系统中。Flume支持不同的Source和Sink，因此可以很容易地对不同类型的数据源进行采集和分发。 在使用Flume构建日志采集系统时，可以使用以下步骤： 1.选择和配置Source，例如使用TailSource从文件中收集日志数据。 2.选择和配置Channel，例如使用MemoryChannel将数据保存在内存中进行传输。 3.选择和配置Sink，例如使用HDFSSink将数据写入Hadoop HDFS中。 4.设置事件处理器，例如使用Interceptors进行数据转换和转发。 5.启动Flume Agent并监视其状态。 通过这些步骤，可以使用Flume快速构建高可用、高扩展性的日志采集系统。Flume还提供了灵活的配置选项和监视工具，可以方便地对系统进行管理和维护。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值