![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
tom_fans
这个作者很懒,什么都没留下…
展开
-
Kafka-connect JDBC Source Connector
kafka-connect在连接MySQL的时候可以看上一篇的文章,通过https://debezium.io 开发的MySQL connector jar来抽取MySQL binlog. 但是对于像ORACLE, SQL SERVER等数据库,没有一个很好的开源JAR来处理,https://debezium.io公司也开发了相关的数据库的JAR,有些还在开发当中,有些操作非常复杂,我也没有去...原创 2020-04-03 18:32:16 · 1734 阅读 · 0 评论 -
kafka-connect实时流的应用
在实际的实时流开发当中,数据库的日志实时变化获取占了很大一部分。一般使用canal或者maxwell接入binglog,但是canal和maxwell很难按需接入,也就是说按照数据库或者按照单个表来接入。这些配置在启动canal或者maxwell之前就在配置文件配置好的,后期修改还需要增加配置再重新启动,这在生产业务中不太合适。 kafka-connect可以根据业务按需来接入,比如你需要test...原创 2020-03-27 18:08:21 · 794 阅读 · 0 评论 -
Kafka基本知识二 replication和elect new leader
kafka读写都在一个leader, 所有的replication同步leader的LOG,并在zookeeper里面维护in-sync状态。 一个follower在in-sync列表里面有2个要求,第一和zookeeper有连接,第二必须是up-to-date,其实就是和leader的数据不能相差太远,有一个参数可以控制阀值。leader写如的数据,只要同步到了follower,并且这个foll原创 2017-07-16 03:51:24 · 458 阅读 · 0 评论 -
Kafka常用工具
1. 创建topic kafka-topics --zookeeper datanode01.isesol.com:2181,datanode01.isesol.com:2181,datanode02.isesol.com:2181,datanode03.isesol.com:2181,datanode04.isesol.com:2181 --create --partitions 2 --原创 2017-07-20 12:48:45 · 649 阅读 · 0 评论 -
Kafka基本知识一 Producer and Consumer
由于现在版本更新较快,很多理论的东西和之前也有很多不同之处,这里描述的基本知识以最新版0.11为基准。 使用消息队列我们最为关心的是消息队列如何发布消息,如何消费消息,以及消息的可靠保证,理解了这几个问题,那么对某个消息队列产品基本就了解了。从发送消息,到消费消息,一共也就2个阶段,这里我们一个一个来谈,先说一下Producer:当我们发送消息的时候如何认为就发送成功了? Kafka默认采原创 2017-07-15 04:00:47 · 1746 阅读 · 0 评论 -
Kafka参数影响及性能测试
Kafka提供了2个测试脚本,kafka-producer-perf-test.sh以及kafka-consumer-perf-test.sh, kafka参数非常多,有些使用默认即可,有些对性能影响极大,只有经过测试,你才能够对这些参数有直观的感觉。 下面我们先测试producer.先看看producer脚本怎么使用:[hdfs@namenode02 tmp]$ /opt/cloud原创 2017-07-20 14:05:07 · 3419 阅读 · 0 评论 -
Kafka Producer编程一
import java.io.IOException;import java.text.MessageFormat;import java.util.*;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import scala.util.control.Exception.Catch;原创 2017-07-13 18:23:05 · 445 阅读 · 0 评论 -
Kafka Consumer编程一
之前提到过Consumer消费通常有2种方式,一种是获取消息然后保存offset,之后处理,这种如果出现问题,会导致at-most-once, 还有一种是获取消息,处理消息,保存offset,这种出现问题为at-least-once. 这里暂时不介绍exactly once的处理。at-most-once: 通过设置enable.auto.commit,以及auto.commit原创 2017-07-19 11:16:44 · 421 阅读 · 0 评论 -
Storm-Kafka-Hbase 性能问题
上一篇文章介绍了一下Storm-kafka-hbase整合,虽然不能保证exactly once,但是at least once已经能够满足90%的业务,如果对前2篇内容都已经理解就已经可以为生产环境编写Storm程序了。今天谈论的问题是性能问题,开发最近写了一个程序用来处理kafka数据,然后存储到HBASE,中间的逻辑很简单,kafka的数据是一个json格式数据,通过bolt 解析这个jso原创 2017-07-27 18:02:08 · 3430 阅读 · 1 评论