Kafka
Kafka的使用
微电子学与固体电子学-俞驰
如切如磋,如琢如磨,臻于至善。
展开
-
nohup: 无法运行命令 ‘/bin/java‘: 没有那个文件或目录
kafka无法启动出现这个报错/home/appleyuchi/bigdata/kafka_2.12-2.7.0-1/bin/kafka-run-class.sh里面加入JAVA_HOME=/home/appleyuchi/Java/jdk1.8.0_144原创 2021-04-01 09:17:48 · 1072 阅读 · 0 评论 -
kafka启动不了
看$KAFKA/logs/kafkaServer.out里面的内容来排查即可原创 2021-04-01 09:10:01 · 224 阅读 · 0 评论 -
kafka的SASL的适用业务场景
讲道理,kafka的topic应该公司里面的人谁都可以用。但是有时候会有这样一种情况,公司并非专门的it公司,公司聘请了合作商,也就是常说的外包公司。公司希望限制对外包公司程序员的数据访问权限。这个时候就需要SASL例如,10个topic,公司分配给合作商的能访问的topic只有1个或者10个topic,公司全部允许合作商来读取,但是不允许他们进行写入和修改。...原创 2021-03-25 16:51:10 · 198 阅读 · 0 评论 -
kafka中的groupid
topic到group质检是发布订阅的通信方式,即一条topic会被所有的group消费,属于一对多模式;group到consumer是点对点通信方式,属于一对一模式。一句话,使用goup.id是为了避免数据被重复消费。Reference:[1]kafka groupid的作用?...转载 2021-03-25 10:20:19 · 2604 阅读 · 1 评论 -
kafka的反序列化类KafkaDeserializationSchema的使用(还没整理完)
很多时候我们需要获得Kafka的topic或者其它信息,就需要通过实现KafkaDeserializationSchema接口来自定义返回数据的结构[]Reference:[1]https://blog.csdn.net/kiwi198709/article/details/104022755https://www.iteblog.com/archives/1656.htmlhttps://www.freesion.com/article/1729266766/https:/..原创 2021-03-22 21:57:25 · 1044 阅读 · 0 评论 -
kafka的消费隔离级别(持续更新中)
隔离级别 具体代码 Read uncommitted properties.put(ConsumerConfig.ISOLATION_LEVEL_CONFIG,"read_uncommitted"); Read committed properties.put(ConsumerConfig.ISOLATION_LEVEL_CONFIG,"read_committed"); kafka的消费有没有其他级别不知道,目前常用的就这两种吧,待更。具...原创 2021-03-11 14:26:41 · 906 阅读 · 0 评论 -
kafka一键启动集群
Reference:[1]启动kafka集群,关闭kafka集群脚本[2]shell脚本启动kafka集群[3]Kafka集群启动停止脚本[4]kafka 集群启动脚本 xkafka[5]shell脚本,一次性启动kafka集群原创 2021-02-01 18:22:44 · 342 阅读 · 0 评论 -
kafka消费命令简化(alias中传入参数)
我们常见的kafka消费命令是这样的:$KAFKA/bin/kafka-console-consumer.sh --bootstrap-server Desktop:9091 --from-beginning --topic user_behavior显然我们希望能把上述命令行做成一个命令,但是希望能接受user_behavior这样的参数##############################################################################原创 2021-01-28 20:37:46 · 533 阅读 · 0 评论 -
kafka的分区策略(partition assignment strategy)
概述kafka的分区策略指的是producer端的 各个partition中的数据如何安排给consumer消费。Range(按范围)ange策略是对每个主题而言的,首先对同一个主题里面的分区按照序号进行排序,并对消费者按照字母顺序进行排序。在我们的例子里面,排完序的分区将会是0, 1, 2, 3, 4, 5, 6, 7, 8, 9;消费者线程排完序将会是C1-0, C2-0, C2-1。然后将partitions的个数除于消费者线程的总数来决定每个消费者线程消费几个分区。如果除不尽,那么.转载 2021-01-25 16:07:52 · 1834 阅读 · 1 评论 -
kafka的offset笔记
Reference:[1]Kafka到底有几个Offset?——Kafka核心之偏移量机制[2]自己维护kafka_offset中的坑原创 2021-01-24 16:36:54 · 1865 阅读 · 0 评论 -
kafka突然无法消费topic
突然没法消费可能是kafka已经把数据给删了,你再新增加数据试试?说不定就好了。根据[1]kafka的数据保存时间是:log.retention.hours=48#数据最多保存48小时log.retention.bytes=1073741824#数据最多1GReference:[1]从kafka读取数据后 数据会自动删除吗...原创 2021-01-24 12:33:51 · 750 阅读 · 0 评论 -
Connection to node -1 (Desktop/192.168.0.102:9091) could not be established.
因为kafka是依赖zookeeper来支持可靠性的,所以先看下zookeeper的client有没有问题$ZOOKEEPER/bin/zkCli.sh -server Desktop:2181如果该命令正常,但是依然出现下面的问题的话,021-01-11 11:44:24,839] WARN [Consumer clientId=consumer-console-consumer-70674-1, groupId=console-consumer-70674] Connection to原创 2021-01-11 12:36:25 · 2313 阅读 · 0 评论 -
kafka关闭终端继续执行命令(转载)
守护进程就是关闭终端还能继续执行的.场景 启动命令 独立的zookeeper ./kafka-server-start.sh -daemon ../config/server.properties kafka自带的zookeeper ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties ...转载 2020-12-27 16:54:39 · 350 阅读 · 0 评论 -
kafka新增节点时server.properties需要修改的地方
想删$KAFKA的logs结果不小心把$KAFAK给删了,这就尴尬了每个新节点需要修改的地方总共有6处broker.id=1listeners=PLAINTEXT://Desktop:9091advertised.host.name=Desktopadvertised.port=9091advertised.listeners=PLAINTEXT://Desktop:9091log.dirs=/home/appleyuchi/bigdata/kafka_2.12-2.5.0-1/lo原创 2020-12-23 22:44:38 · 585 阅读 · 0 评论 -
Configured broker.id 2 doesn‘t match stored broker.id 3 in meta.properties
完整报错:(Python3.6) appleyuchi@Laptop:config$ [2020-12-17 14:09:03,904] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentBrokerIdException: Configured broker.id 2 doesn't match stored brok原创 2020-12-17 14:14:05 · 338 阅读 · 0 评论 -
kafka抑制启动时的log INFO为WARN级别
cd $KAFKA/configsed -i "s#INFO#WARN#g" `grep -rl INFO ./`原创 2020-12-17 12:13:12 · 375 阅读 · 0 评论 -
The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.
[2020-12-16 20:59:43,575] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentClusterIdException: The Cluster ID ypLxu7zHTI2YBS85jttJNA doesn't match stored clusterId Some(bXJRCLD-TR6IoW61iG原创 2020-12-16 23:06:54 · 6006 阅读 · 0 评论 -
kafka出现Unable to read additional data from server sessionid 0x0, likely server has closed socket
EndOfStreamException: Unable to read additional data from server sessionid 0x0, likely server has closed socket at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:75) at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(Cl...转载 2020-12-16 20:55:25 · 2567 阅读 · 0 评论 -
kafka丢数据问题方案(转载+整理+汇总)
丢数据可能来自:息生产者(Producer)、消息消费者(Consumer)和服务载体(在Kafka中用Broker指代)[6]---------------------------------------------------------------------------------------------------------------------生产者--------------------------------------------------------------------转载 2020-12-08 14:53:23 · 473 阅读 · 0 评论 -
Kafka实现MySQL增量同步
目标本文是对[1]的复现和整理环境组件 版本 Zookeeper 3.6.0 Kafka 2.5.0 Mysql 8.0.21-0ubuntu0.20.04.4 准备工作分别新建两个数据库A和B,然后各自新建一个表格mysql> create database A;Query OK, 1 row affected (0.12 sec)mysql> create database B;Query OK, 1 row..原创 2020-09-10 20:24:02 · 1364 阅读 · 2 评论 -
kafka报错Failed to find any class that implements Connector
在使用kafka的connect的功能时候遇到报错.完整报错如下:[2020-09-11 11:14:53,612] ERROR Failed to create job for /home/appleyuchi/bigdata/kafka_2.12-2.5.0-1/config/quickstart-mysql.properties (org.apache.kafka.connect.cli.ConnectStandalone:110)[2020-09-11 11:14:53,613] ERRO原创 2020-09-11 16:49:04 · 3590 阅读 · 1 评论 -
flink读不到kafka数据问题
[1]搭建集群[2]测试kafka集群没问题后,根据[3]中开始用flink消费kafka数据,发现啥也么有调试办法如下:①去$KAFKA/logs下面看了下,是有相关主题的文件夹生成的.②/kafka-console-consumer.sh --bootstrap-server Desktop:9091,Laptop:9092,Laptop:9093 --topic test-0921依然没有数据③./kafka-console-consumer.sh --bootstrap.原创 2020-06-26 23:17:33 · 4275 阅读 · 0 评论 -
kafka彻底删除topic(cleanup policy)、清除特定topic数据
①$KAFKA/bin/kafka-topics.sh --delete --zookeeper Desktop:2181 --topic test-0921②$ZOOKEEPER/bin/zkCli.sh -server Desktop:2181delete /config/topics/test-0921deleteall /brokers/topics/test-0921原创 2020-06-26 20:53:41 · 2466 阅读 · 0 评论 -
python读写kafka集群(转载+自己验证)
##############################准备工作##############################################apt-get install libsnappy-devpip install python-snappypip install kafka-python################################具体操作###########################################python prod转载 2020-06-26 14:56:12 · 1535 阅读 · 0 评论 -
site-docs is not in the form of topic-partition or topic-partition.uniqueId-delete
[2020-06-26 14:52:19,319] ERROR There was an error in one of the threads during logs loading: org.apache.kafka.common.KafkaException: Found directory /home/appleyuchi/bigdata/kafka_2.12-2.5.0-1/site-docs, 'site-docs' is not in the form of topic-parti...原创 2020-06-26 14:55:57 · 736 阅读 · 0 评论 -
logs is not in the form of topic-partition or topic-partition.uniqueId-delete
org.apache.kafka.common.KafkaException: Found directory /home/appleyuchi/bigdata/kafka_2.12-2.5.0-2/logs, 'logs' is not in the form of topic-partition or topic-partition.uniqueId-delete (if marked for deletion).启动的时候出现这个,反复检查配置感觉都没错.上述的问题,讲人话就是你路径太复...原创 2020-06-26 14:39:18 · 1509 阅读 · 0 评论 -
This will have no impact if delete.topic.enable is not set to true以及删除kafka中的topic
$KAFKA/config/server.properties中delete.topic.enble=true然后删除topic$ ./kafka-topics.sh --zookeeper Desktop:2181,Laptop:2182,Laptop:2183 --delete --topic my-topicTopic my-topic is marked for deletion.转载 2020-06-26 11:22:15 · 5121 阅读 · 2 评论 -
Configured broker.id 1 doesn t match stored broker.id 0 in meta.properties
[2020-06-25 20:48:58,343] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn't match stored broker.id 0 in meta.properties. If you moved your原创 2020-06-25 20:54:49 · 1252 阅读 · 0 评论 -
kafka高可用集群搭建
#################################################################物理环境(两台机子组成的真实集群):Desktop一个zk节点Laptop两个zk节点############################准备工作##############################确保hbase在zookeeper下面已经配置好高可用以[1]为主要参考:###################################原创 2020-06-25 18:32:45 · 381 阅读 · 0 评论 -
kafka报错与调试技巧
kafka启动报错java.lang.NoSuchMethodError: org.apache.zookeeper.ZooKeeper.<init>(Ljava/lang/String;ILorg/apache/zookeeper/Watcher;Lorg/apache/zookeeper/client/ZKClientConfig;)V at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:111).原创 2020-06-25 17:01:54 · 1075 阅读 · 0 评论 -
kafka的使用场景(转载+自己笔记)
关于消息队列的使用一、消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景。2.1异步处理场景说明:用户注册后,需要发注册邮件和注册短信。传统的做法有两种1.串行的方式;2.并行.转载 2020-05-29 12:16:13 · 489 阅读 · 0 评论