【中间件学习】kafka基础学习

引言

kafka是一款优秀的消息中间件,在数据接入的过程用,由于特定场景需要采集某种日志并将其入库,使用到该中间件,这里记录学习过程。
典型使用场景:
收集日志 —> 日志正则化 —> 发送到kafka --> 入库

安装教程

记录简易的安装过程

wget http://mirrors.aliyun.com/apache/kafka/3.2.2/kafka_2.12-3.2.2.tgz

解压文件

tar -xvf kafka_2.12-3.2.1.tgz
wget http://mirrors.aliyun.com/apache/kafka/3.2.2/kafka_2.12-3.2.2.tgz

执行下面命令,启动zk

bin/zookeeper-server-start.sh config/zookeeper.properties

发现没有java,无法启动,这里需要安装一下java, 下载解压后, 核心的配置步骤如下:
其中 /opt/jdk 为手工指定的解压后的文件夹名称。

export JAVA_HOME=/opt/jdk
export JRE_HOME=/opt/jdk/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

执行下面命令, 启动kafka

bin/kafka-server-start.sh config/server.properties

kafka的简单使用教程

记录简易的使用教程

  • 如何创建一个topic?
    让我们创建一个名为“test”的topic,它有一个分区和一个副本
bin/kafka-topics.sh --create --bootstrap-server localhost:2181 --replication-factor 1 --partitions 1 --topic test
  • 如何查看已经创建的topic
bin/kafka-topics.sh --list --bootstrap-server localhost:2181
  • 如何发送和接收消息
    发送消息:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test ./config/producer.properties

接收消息:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
  • 如何实现kafka之间的信息传递?
    参考文档: https://blog.csdn.net/tmaczt/article/details/115274144
bin/kafka-mirror-maker.sh --consumer.config config/consumer-test.properties --producer.config config/producer-test.properties --num.streams 8 --whitelist 'customer.order*'
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值