![](https://img-blog.csdnimg.cn/20190925084332793.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
storm_fury
本是青灯不归客,却因浊酒留红尘
展开
-
Spring Boot 整合 Kafka 并使用 @KafkaListener 并发批量接收消息
注册 KafkaListenerContainerFactory import org.apache.kafka.clients.CommonClientConfigs; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.common.config.SaslConfigs; impo...原创 2019-11-25 17:06:49 · 3156 阅读 · 1 评论 -
Flume 消费或生产消息到 Kafka 遇到的相关问题及解决
背景: 在使用的 Flume 消费或生产添加了SASL_SSL认证的 Kafka 时,遇到以下问题。其中 Flume 本身自带 Kafka 依赖是0.9.0版本, Kafka 集群是0.10.0版本。 遇到的相关问题 问题一: 由于 Flume 本身自带 Kafka 依赖是0.9.0版本, Kafka 集群是0.10.0版本,版本的不一致。 ... 19/10/18 13:05:18 ...原创 2019-10-18 15:19:11 · 2720 阅读 · 0 评论 -
CDH 中配置 Kafka MirrorMaker 实现 Kafka 集群消息同步
添加 Kafka MirrorMaker 服务 添加 Kafka 源集群和目标集群配置 Destination Broker List :目标集群 Broker列表 Source Broker List :源集群 Broker 列表 Topic Whitelist :需要同步的 Topics,支持正则 配置 Kafka 源集群和目标集群 Zookeeper 地址配置 重...原创 2019-09-03 16:36:04 · 7819 阅读 · 7 评论 -
Kafka Manager部署及使用
配置Java环境变量 [root@node00 profile.d]# pwd /etc/profile.d [root@node00 profile.d]# cat java.sh export JAVA_HOME=/usr/java/default export PATH=$PATH:$JAVA_HOME/bin 执行如下命令使环境变量生效并查看java版本 [root@node00 ...原创 2019-07-11 23:40:40 · 2390 阅读 · 0 评论 -
Kafka 消费 topic 最近 n 条消息
package com.cloudera.kafkademo; import org.apache.kafka.clients.admin.AdminClient; import org.apache.kafka.clients.admin.DescribeTopicsResult; import org.apache.kafka.clients.admin.TopicDescription; ...原创 2019-06-27 16:10:10 · 1431 阅读 · 0 评论 -
Kafka 多种语言编写 Producer
Java 编写 Producer package com.demo; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clients.producer.ProducerConfig; ...原创 2019-06-20 10:51:08 · 1924 阅读 · 0 评论 -
Python 多线程编写 Kafka Producer
参考文档:https://kafka-python.readthedocs.io/en/master/index.html import msgpack from kafka import KafkaProducer from kafka.errors import KafkaError from pandas._libs import json from traitlets import lo...原创 2019-06-20 10:30:23 · 3841 阅读 · 1 评论 -
Kafka配置文件详解
Kafka配置文件详解1. 生产端的配置文件 producer.properties2. 消费端的配置文件 consumer.properties:3.服务端的配置文件 server.properties 1. 生产端的配置文件 producer.properties #指定kafka节点列表,用于获取metadata,不必全部指定 #需要kafka的服务器地址,来获取每一个topic的分片数等元...原创 2018-11-06 14:59:28 · 1986 阅读 · 0 评论 -
Kafka集群安装部署
加粗样式原创 2018-09-29 17:11:18 · 1950 阅读 · 0 评论 -
Kafka常用操作命令
创建主题 $> bin/kafka-topics.sh --create --zookeeper hadoop05:2181 --replication-factor 3 --partitions 3 --topic test 查看主题列表 $> bin/kafka-topics.sh --list --zookeeper hadoop05:2181 查看某个主题详情 ...原创 2018-09-29 15:35:41 · 1845 阅读 · 0 评论 -
kafka集群启停脚本
注意: 需先在/etc/hosts 文件中配置 IP 映射。 启动kafka集群前,要先启动zoopkeeper集群。 一、kafka集群停止脚本 #!/bin/bash BROKERS="hadoop01 hadoop02 hadoop03" KAFKA_HOME="/usr/local/kafka" KAFKA_NAME=kafka_2.11-2.0.0 for i in ${B...原创 2018-09-29 15:14:01 · 2496 阅读 · 0 评论