![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
q435201823
11
展开
-
kafka 安装与配置
环境 Ubuntu18.04 四台机器:Ubuntu1,Ubuntu2,Ubuntu3,Ubuntu4 ZooKeeper3.4.13 kafka_2.12-2.1.1 下载kafka kafka下载地址 安装并启动ZooKeeper ZooKeeper安装与配置 解压kafka tar -zxvf kafka_2.12-2.1.1.tgz -C ~/kafka 配置kafka 配置文件在kaf...原创 2019-02-27 21:14:27 · 209 阅读 · 0 评论 -
kafka java api客户端编程
环境 Ubuntu18.04 zookeeper3.4.13 kafka2.1.1 说明 因为是使用了最新的kafka,所以很多方法都过时了。研究了很久新api的用法,然后在此记录。 zkUtil已经不用了,改用AdminClient。 主要功能包括: 创建Topic:createTopics(Collection newTopics) 删除Topic:deleteTopics(Collectio...原创 2019-03-02 15:46:10 · 357 阅读 · 2 评论 -
[转载]Kafka生产者事务和幂等
转载自:http://www.heartthinkdo.com/?p=2040 目录 [隐藏]1 生产者幂等性1.1 引入1.2 幂等性实现1.2.1 PID 和 Sequence Number1.2.2 生成PID的流程1.3 幂等性的应用实例2 事务属性2.1 事务属性理解2.2 引入事务目的2.3 事务操作的API3 事务属性的...转载 2019-03-02 16:49:24 · 186 阅读 · 0 评论 -
kafka 生产者的幂等简单实现
关于幂等性可以看我上一篇转载的文章 普通的生产者 public static void upload() { Producer<String, String> producer = new KafkaProducer<>(props); for (int i = 0; i < 100; i++) producer.send(ne...原创 2019-03-02 17:05:56 · 580 阅读 · 0 评论 -
Storm1.2.2整合Kafka2.1.1编程
前言 Storm到1版本后发送了很大的变化,很多api都有很多改变。然而网络上的多数教程都是旧版本的api。 导致了这一部分的编程花了我非常非常多的时间阅读官方文档的github上的程序。 而且某些错误是真的难debug。 本文只写一个简单的读取kafka消息的demo 因为编程是简单的,麻烦的是编程之外的细节。 至于编程的问题可以参考官方在github上的example 在storm目录里面也能...原创 2019-03-07 16:07:33 · 2464 阅读 · 3 评论