kafka
文章平均质量分 93
马各马它
这个作者很懒,什么都没留下…
展开
-
实时数据系列之kafka connect
Kafka Connect是一种用于在Apache Kafka和其他系统之间以可伸缩的方式可靠地流式传输数据的工具。使用kafka connect可以有效的解决数据的实时交换问题,依托kafka的高性能和弹性扩展,是一个非常好的实时同步技术方案。原创 2022-05-16 23:54:45 · 1990 阅读 · 4 评论 -
kafka系列-入门篇之安装
前言Kakfa经过几年的时间,终于来到了2.x的正式版本。不过在0.8.x的版本就有不少公司已经在生产环境上使用了,也可以说明它在大数据生态圈的地位是非常重要的。经过几个版本的迭代,API发生了一些变化,增加了一些新的特性,这些我们在后面的文章再来慢慢道来吧,今天我们从kafka的安装开始。前期准备我们知道大数据是从Hadoop发展而来,但是kafka的安装还不是必需使用hdfs、mapr...原创 2018-08-07 22:43:52 · 716 阅读 · 0 评论 -
kafka系列-入门篇之基础概念
定义官方对kafka的定义,kafka是一个分布式流平台。听起来让人感觉很陌生,实际使用中,你会觉得kafka是一个发布-订阅的消息队列平台。它和我们熟知的一些消息队列中间件比起来,在功能上更加强大,性能上也是非常高效的。特性可扩展性,kafka搭建在分布式集群服务器上,支持水平无限扩展。容错性,kafka将数据副本存放在多台服务器上,避免服务器故障影响运行。高吞吐量,使用6...原创 2018-08-07 22:45:01 · 619 阅读 · 0 评论 -
kafka系列-入门篇之常用命令
前言本文所有的操作都是在MacOS系统上使用。如果是在Linux操作系统下进行实验,使用的命令是相同的;如果是在windows操作系统下进行实验,则需要使用对应的bin/windows目录下的bat文件。Topic新建> bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic m...原创 2018-08-21 00:35:53 · 22315 阅读 · 6 评论 -
kafka系列-进阶篇之消息和offset存储
了解kafka底层的存储原理,可以帮助技术人员在遇到问题时排查问题。原创 2018-09-06 23:48:52 · 17723 阅读 · 3 评论 -
kafka系列-进阶篇之消费组
kafka系列-入门篇之消费组原创 2018-09-28 00:40:06 · 18335 阅读 · 4 评论 -
kafka系列-进阶篇之数据迁移
前言原创 2018-12-01 02:47:18 · 4331 阅读 · 4 评论