Kafka
文章平均质量分 65
__Simon'
如山间清爽的风,如古城温暖的阳光。
展开
-
kafka发布主题生产者消费者
Kafka发布主题生产者消费者一、 发布主题Topic 创建一个名字为simon的主题./kafka-topics.sh --zookeeper master:2181 --create --topic simon --partitions 3 --replication-factor 2 二、 查看主题./kafka-topics.sh -...原创 2018-04-17 21:55:06 · 863 阅读 · 0 评论 -
Kafka新版消费者API示例(二)
接上篇 Kafka新版消费者API示例(一)https://blog.csdn.net/Simon_09010817/article/details/83748974kafka手动提交策略提供了更加灵活的管理方式,在某些场景我们需要对消费偏移量有更精准的管理。以保证消息不被重复消费以及消息不丢失。Kafka提供两种手动提交方式:1.异步提交(commitAsync): 异步模式...原创 2018-11-05 16:49:49 · 3615 阅读 · 0 评论 -
Kafka新版消费者API示例(一)
Kafka的高阶消费者(high-level consumer)和低阶消费者(low-level consumer,底层用SimpleConsumer实现)是旧版本的consumer中的。新版本的consumer中没有这两个概念。新版本把高阶消费者和低阶消费者整合到一起了,对应KafkaConsumer类的subscribe和assign方法。创建消费者:String kafkas =...原创 2018-11-05 15:08:34 · 6130 阅读 · 0 评论 -
Kafka旧版消费者API示例(低级消费者)
Kafka旧版高级消费者API强依赖ZK,目前高版本kafka已将offset移交内部主题,若高版本可选用新版API。实现低级API变成实现的主要步骤: 获取指定主题相应分区对应的元数据信息 找出指定分区的Leader副本节点,创建SimpleConsumer,建立与Leader副本的连接 构造消费请求 获取数据并处理 对偏移量进行处理 ...原创 2018-11-05 12:56:10 · 1565 阅读 · 0 评论 -
Kafka消费者API简介
旧版消费者 当前kafka版本还保留着Scala版本的两套消费者,被称为旧版消费者。旧版消费者属于kafka核心模块,分别为SimpleConsumer(低级Low-Level)和ZookeeperConsumerConnector(高级High-Level)。 低级API提供对消息更灵活的控制处理,但实现起来较为复杂,调用者需要先自己管理已消费的偏移量以及消费者平衡。...原创 2018-11-05 11:14:11 · 437 阅读 · 0 评论 -
storm集成kafka旧版API(offset In Zk)示例
编写主函数启动类的Topopackage com.simon.storm.kafka;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.kafka.BrokerHosts;import org.apache.storm.kafka.KafkaSpou...原创 2018-11-01 14:05:31 · 471 阅读 · 0 评论 -
storm集成kafka新版API(offset In Kafka)示例
本例storm版本为1.1.0 kafka版本为2.11.0.10.0.1 导入maven依赖 <!--引入storm --> <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifac...原创 2018-11-01 13:26:31 · 1635 阅读 · 0 评论 -
Kafka安装配置之Broker配置
Kafka安装配置之Broker配置常规配置: broker.id 每个broker都需要有一个标识符,使用broker.id来表示。它的默认值是0,也可以被设置成其他的任意整数。这个值在整个Kafka集群里必须是唯一的。 port 如果使用配置样本来启动Kafka,他会监听9092端口,可以修改为其他任意可用端口...原创 2018-10-21 17:52:17 · 2698 阅读 · 1 评论 -
Kafka的基本组成
Kafka的基本组成 在kafka集群中生产者将消息发送给以Topic的消息队列Queue中,消费者订阅发往以某个Topic命名的消息队列Queue中的消息。其中Kafka集群有若干个Broker组成,Topic由若干个Partioti...原创 2018-10-21 16:23:56 · 2962 阅读 · 0 评论 -
zookeeper+storm+kafka集群完全配置
zookeeper配置 参数名 说明 clientPort 客户端连接server的端口,即对外服务端口,一般设置为2181 dataDir 存储快照文件snapshot的目录。默认情况下,事务日志也会存储在这里。建议同时配置参数dataLogDir, 事务日志的写性能直接影响zk性能。 tickTime ZK中的一个时间单元。ZK中所有时间...原创 2018-07-27 16:14:28 · 2115 阅读 · 0 评论 -
Kafka安装
Kafka安装一、 下载二、 上传三、 解压tar -xzf kafka_2.12-1.0.0.tgz四、 进入Kafka的config目录配置server.properties文件五、 配置broker.id六、 配置监听七、 配置log八、 配置zk ...原创 2018-04-17 18:10:02 · 189 阅读 · 0 评论 -
Kafka源码编译(kafka0.8.2.2)并用IDEA(2018.3)运行
一: 准备工作 安装JDK(1.8或以上)、Scala(2.11.x)、Gradle 可以参考博客 https://blog.csdn.net/u013256816/article/details/78533725 本机安装如下:二:下载kafka源码解压三:在解压目录下执行gradle idea四:编译成功 产生如下...原创 2018-12-14 20:57:49 · 1185 阅读 · 0 评论