kafka操作5

最新推荐文章于 2023-09-28 00:41:20 发布
最新推荐文章于 2023-09-28 00:41:20 发布
阅读量941 收藏
点赞数 1
分类专栏： 科技 文章标签： kafka java 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51343683/article/details/127410778
版权

集成springboot

springboot是一个在javaee开发中非常常用的组件。可以用于kafka的生产者，也可以用于kafka的消费者

  1. 在idea中安装lombok插件，在plugins下搜索lombok然后在线安装即可，安装后注意重启
  2. springboot环境准备，创建一个spring initializr

springboot生产者

  1. 修改springboot的核心配置文件application.propeties，添加生产者相关信息
# 指定kafka的地址
spring.kafka.bootstrap-
servers=hadoop101:9092,hadoop102:9092,hadoop103:9092

# 指定key和value的序列化器
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
  1. 创建controller从浏览器接收数据，并写入指定的topic
    application.properties
# 连接kafka集群
spring.kafka.bootstrap-servers=hadoop101:9092,hadoop102:9092

# key value的序列化
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

controller

package com.thenema.springbootkafka.controller;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * @author 29467
 * @date 2022/10/19 16:45
 */
@RestController
public class ProducerController {

    @Autowired
    KafkaTemplate<String,String> kafka;

    @RequestMapping("/thenema")
    public String data(String msg){
        kafka.send("first", msg);
        return "ok";
    }
}

在kafka启动消费者

bin/kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic first

即可消费到数据

springboot消费者

consumer

package com.thenema.springbootkafka.controller;

import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.KafkaListener;

/**
 * @author 29467
 * @date 2022/10/19 16:57
 */
@Configuration
public class KafkaConsumer {
    @KafkaListener(topics = "first")
    public void consumerTopic(String msg){
        System.out.println("收到消息：" + msg);
    }
}

application.properties

# 连接kafka集群

# key value的反序列化
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer

# 消费者组id
spring.kafka.consumer.group-id=I am group id

kafka硬件配置选择

场景说明

100万日活，每人每天100条日志，每天总共的日志条数是100万 * 100条=1亿条。
1亿/24小时/60分/60秒=1150条/每秒钟。每条日志大小:0.5k - 2k（取1k)。
1150条/每秒钟 * 1k 1m/s
高峰期每秒钟:1150条 * 20倍=23000条
每秒多少数据量:20MB/s

服务器台数选择

服务器台数 = 2 * （生产者峰值生产速率【m/s】 * 副本数 / 100）+ 1

磁盘选择

kafka按照顺序读写，机械硬盘和固态硬盘顺序读写差不多
1亿条 * 1k = 100g
100g * 2个副本 * 3天 / 0.7（30%损耗） = 1t
建议三台服务器总的磁盘大小 大于1t

内存选择

kafka 内存 = 堆内存 (kafka 内部配置) + 页缓存（服务器内存）
堆内存：10-15g
设置堆内存：export KAFKA HEAP_ OPTS="-Xmx10G"
查看kafka进程：jps查看进程号
查看kafka的GC情况：使用jstat -gc xxx ls 10，查看YGC
根据kafka进程号，查看kafka的堆内存：jmpa -heap xxx
页缓存是linux服务器是内存，我们只需要保证一个segment（1g）中25%的数据在内存中就好，分区数 * 1g * 25% / 3 = xg
那么一台服务器等于10g + xg

CPU选择

num.io.threads = 8 负责写磁盘的线程数，整个参数值要占总核数的50%
num.replica.fetchers = 1 副本拉取线程数， 这个参数占总核数的50%的1/3
num.netwrok.thread = 3 数据传输线程数，这个参数占总核数的50%的2/3
建议32个 cpu core

网络选择

网络带宽 = 峰值吞吐量 约等于 20mb/s 选择千兆网卡即可
100Mbps 的单位是比特 10M/s的单位是字节 1byte = 8bit 100Mbps = 12.5M/s
一般的百兆网卡(100Mbps) 千兆网卡(1000Mbps) 万兆网卡(10000Mbps)

kafka服务器挂了

在生产环境中，如果某个kafka节点挂掉，处理方法如下

  1. 先尝试重新启动一下，如果能启动正常，那直接解决
  2. 如果重启不行，考虑增加内存，增加CPU，网络带宽
  3. 如果将kafka整个节点误删除，如果副本数大于等于2，可以按照服役新节点的方式重新服役一个新节点，并执行负载均衡

集群压力测试

  1. kafka压测
用kafka官方自带的脚本，对kafka进行压测。
- 生产者压测：kafka-producer-perf-test.sh
- 消费者压测：kafka-consumer-perf-test.sh

kafka producer压力测试

  1. 创建一个test topic，设置为3个分区3个副本
bin/kafka-topics.sh --bootstrap-server hadoop101:9092 --create --replication-factor 3 --partitions 3 --topic test
  1. 在/opt/kafka/bin目录下面有这两个文件，可以测试一下
bin/kafka-producer-perf-test.sh --topic test --record-size 1024 --num-records 1000000 --throughput 10000 bootstrap.servers=hadoop101:9092, hadoop102:9092, hadoop103:9092 batch.size=16384 linger.ms=0

在这里插入图片描述
3. 调整batch.size大小，batch.size默认值是16k，本次实验将batch.size设置为32k

bin/kafka-producer-perf-test.sh --topic test --record-size 1024 --num-records 1000000 --throughput 10000 bootstrap.servers=hadoop101:9092, hadoop102:9092, hadoop103:9092 batch.size=32648 linger.ms=0
  1. 调整linger.ns时间，linger.ms默认是0ms，本次实验linger.ms设置为50ms
bin/kafka-producer-perf-test.sh --topic test --record-size 1024 --num-records 1000000 --throughput 10000 bootstrap.servers=hadoop101:9092, hadoop102:9092, hadoop103:9092 batch.size=16384 linger.ms=50
  1. 调整压缩方式，默认的压缩方式是none，本次实验compression.type设置为snappy
bin/kafka-producer-perf-test.sh --topic test --record-size 1024 --num-records 1000000 --throughput 10000 bootstrap.servers=hadoop101:9092, hadoop102:9092, hadoop103:9092 batch.size=16384 linger.ms=50 conpression.type=snappy

压缩方式设置为zstd

bin/kafka-producer-perf-test.sh --topic test --record-size 1024 --num-records 1000000 --throughput 10000 bootstrap.servers=hadoop101:9092, hadoop102:9092, hadoop103:9092 batch.size=16384 linger.ms=50 conpression.type=zstd

gzip

bin/kafka-producer-perf-test.sh --topic test --record-size 1024 --num-records 1000000 --throughput 10000 bootstrap.servers=hadoop101:9092, hadoop102:9092, hadoop103:9092 batch.size=16384 linger.ms=50 conpression.type=gzip

lz4

bin/kafka-producer-perf-test.sh --topic test --record-size 1024 --num-records 1000000 --throughput 10000 bootstrap.servers=hadoop101:9092, hadoop102:9092, hadoop103:9092 batch.size=16384 linger.ms=50 conpression.type=lz4
  1. 调整缓存大小，默认生产者端缓存大小32m，本次实验buffer.memory设置为64m
bin/kafka-producer-perf-test.sh --topic test --record-size 1024 --num-records 1000000 --throughput 10000 bootstrap.servers=hadoop101:9092, hadoop102:9092, hadoop103:9092 batch.size=16384 linger.ms=50 buffer.memory=67108864

kafka consumer压力测试

  1. 修改/opt/kafka/config/consumer.properties文件中的一次拉取条数为500
max.poll.records=500
  1. 消费100万条日志进行压测
bin/kafka-consumer-perf-test.sh --bootstrap-server hadoop101:9092,hadoop102:9092,hadoop103:9092 --topic test --messages1000000 --consumer.config config/consumer.propertiese

在这里插入图片描述
3. 一次拉取条数为2000

max.poll.records=500
  1. 调整fetch.max.bytes大小为100m，修改/opt/kafka/config/consumer.properties文件中的拉取一批数据大小为100m
fetch.max.bytes=104857600
The_theme
关注
专栏目录
kafka命令行
科学的N次方
11-17 1189
kafka命令行
群起kafka，发现只有一台节点有进程，其他节点均无进程
打工日常
12-29 1497
问题：群起kafka，发现只有一台节点有进程，其他节点均无进程 原因：无进程的节点的内存全部用完，无法启动kafka 解决：增加服务器的内存
有关kafka主节点无法启动
qq_50859962的博客
11-07 1267
kafka无法正常启动 最近新配置是kafka，在第一次启动时,第一台机器报错 ERROR [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) java.lang.NoSuchMethodError: org.apache.zookeeper.ZooKeeper.multi(Ljava/lang/Iterable;Lorg/apache/zookee
Kafka流程梳理
02-13 2015
最近打算梳理消息引擎系统，以Kafka和RocketMQ为主进行学习。关于Kafka打算写两篇文章，一篇是基础知识，一篇是实践，打算用Kafka收集日志，并实现报警功能。Kafka版本经常更新，有的知识可能和最新版本不一致，这点需注意。
Kafka锦集（二）：三种不同方式，查看kafka是否已启动
热门推荐
血煞长虹 的专栏
10-15 3万+
本文详细阐述了以三种不同的方式查看kafka服务是否正常启动，它们分别是： 1）jps -ml； 2）lsof -i:9092； 3）netstat -nalpt | grep 9092；
Python操作分布式流处理系统Kafka
02-25
Kafka是一个分布式流处理系统，流处理系统使它可以像消息队列一样publish或者subscribe消息，分布式提供了容错性，并发处理消息的机制。kafka运行在集群上，集群包含一个或多个服务器。kafka把消息存在topic中，每一...
Go操作kafka—-kafka简介
01-07
kafka是一个分步数据流平台，可以分布在单个服务器上，也可以分布在多个服务器上部署形成集群，提供了发布和订阅功能，使用者可以发送数据到kafka中，也可以从kafka中读出数据，kafka具有高吞吐，低延迟，高容错等...
kafka操作指南
weixin_42059968的博客
02-17 1252
kafka相关操作
Python通过kerberos安全认证操作kafka方式
12-17
conf目录下krb5.conf和kafka.keytab和jaas.conf拷贝到客户端机器的etc目录, 同时,krb5.conf中的kdc集群主机名和IP配置到客户端机器hosts配置文件中 3.Kinit客户端通过kerberos认证 获取Principal klist -kt kafka....
Kafka基本操作命令
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-29 780
本实验任务主要完成基于ubuntu环境掌握Kafka基本操作命令的工作。通过完成本实验任务，要求学生熟练掌握Kafka基本操作命令，为后续实验的开展奠定Kafka平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握基于Kafka基本操作命令Ubuntu(三台节点:mater,slave1,slave2)、Zookeeper3.4.5、Kafka2.9.2Kafka is a distributed,partitioned,replicated commit lo
kafka启动了，jps却没有
Knight
06-23 7257
启动命令 bin/kafka-server-start.sh -daemon config/server.properties 首先去看日志 发现端口被占用了 查看，并杀死
kafka启动成功之后，jps过一会不显示进程的解决方法
码农研究僧的博客
08-24 2918
最主要是kafka异常关闭，会把之前的未关闭的id记录在meta.properties文件中，重新启动会显示当前id与文件id不同，导致程序无法执行，kafka无法启动。修改meta.properties的配置文件，将其内部的cluster.id修改为对应报错日志提示的id，我的具体如下：Hf69pUKBS9uhtVVKxhlpMQ。启动zookeeper之后在启动kafka，通过jps显示kafka还在，但是过了几秒之后，发现kafka不在了，那就是kafka启动不成功。即可成功显示kafka的进程。
Kafka基本使用
u011458344的专栏
08-21 4608
查看Kafka的进程是否在运行。
【Kafka专题】Kafka快速实战以及基本原理详解
最新发布
qq_32681589的博客
09-28 1346
​ ChatGPT对于Apache Kafka的介绍：Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发并于2011年开源。它主要用于解决大规模数据的实时流式处理和数据管道问题。Kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者中。Kafka消息系统由多个broker（服务器）组成，这些broker可以在多个数据中心之间分布式部署，以提供高可用性和容错性。Kafka的基本架构由生产者、消费者和主题（topic）组成。
群起脚本 批量启动kafka 查看服务
Ennis_Tongji的博客
08-20 160
10.1 群起脚本 批量查看服务 jps 执行 # cd /usr/local/bin # vi xcall.sh 写入 #!/bin/bash case $1 in "jps"){ for i in hadoop01 hadoop02 hadoop03 hadoop04 hadoop05 do echo "-------------$i---------------" ssh $i jps done };; esac 在【所有机器】建立软连接 # cd /usr/local/bin #
Kafka常用命令
Be yourself.
12-28 2万+
Kafka基本操作命令感觉最近有一阵子没有玩Kafka了，都有点生疏了，我们今天就来讲解如何使用命令操作Kafka： 启动命令 创建Topic 查看Topic列表 删除Topic Producer和Consumer 写入和消费数据 其他命令 根据前一篇如何在阿里云上构建Kafka系统，想必大家都已经知道了如何配置Kafka了，但是有了Kafka后应当如何进行下一步的操作呢？这便是本节的主要内容了。1
Kafka非正常关闭后启动，jps显示有kafka，然后又没有了
weixin_46373361的博客
06-02 1625
kafka集群启动失败 大多数人的虚拟机可能长时间开启，断电虚拟机关闭，或者进程关闭顺序zookeeper在kafka之前关闭。 会导致kafka在zookeeper中注册的零时节点没有销毁。下次kafka启动时，同样跑去注册，发现zookeeper中kafka的brokers/ids不为空，就会默认已经启动。kafka就不会在启动。 [zk: localhost:2181(CONNECTED) 12] ls /kafka/brokers/ids [1, 2, 3] [zk: localhost:2181(
java查看kafka集群状态_Linux系统 Kafka集群
weixin_42405592的博客
02-25 8295
Kafka相关概念Kafka的定义它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。具有高水平扩展和高吞吐量。注：Zookeeper是一种在分布式系统中被广泛用来作为：分布式状态管理、分布式协调管理、分布式配置管理、和分布式锁服务的集群。kafka增加和减少服务器都会在Zooke...
Kafka：常用查看命令
weixin_34380781的博客
01-03 1566
查看topic bin/kafka-topics.sh \ --zookeeper emr-header-1:2181,emr-header-2:2181,emr-header-3:2181/kafka-1.0.1 \ --list 查看kafka的topic详细信息 bin/kafka-topics.sh \ --zookeeper emr-he...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值