kafak
代码邪皇
这个作者很懒,什么都没留下…
展开
-
SparkStreaming+kafka保存offset的偏移量到mysql案例
MySQL创建存储offset的表格mysql> use testmysql> create table hlw_offset( topic varchar(32), groupid varchar(50), partitions int, fromoffset bigint, untiloffse...原创 2019-10-12 00:00:04 · 2763 阅读 · 1 评论 -
什么是kafka
Apache Kafka 是一个apache软件开源组织开源的分布式消息队列,典型的生产者和消费者的生产模式,类似于JMS规范,意在构建企业级的统一的高通量的低延时的消息平台。...原创 2019-07-25 20:42:33 · 240 阅读 · 0 评论 -
搭建kafka集群
准备三台服务器, 安装jdk1.8 ,其中每一台虚拟机的hosts文件中都需要配置如下的内容192.168.72.141 node01192.168.72.142 node02192.168.72.143 node03安装目录安装包存放的目录:/export/software安装程序存放的目录:/export/servers数据目录:/export/data日志目录:/e...原创 2019-07-25 21:57:40 · 2056 阅读 · 0 评论 -
kafka的topic分片与副本机制
此处的分片指的是对topic中数据进行分片和建立副本, 一个个topic理解为solrCloud中一个个大的索引库分片机制:主要解决了单台服务器存储容量有限的问题当数据量非常大的时候,一个服务器存放不了,就将数据分成两个或者多个部分,存放在多台服务器上。每个服务器上的数据,叫做一个分片 副本:副本备份机制解决了数据存储的高可用问题当数据只保存一份的时候,有丢失的风险。为了更好的容错和容...原创 2019-07-26 13:16:00 · 4054 阅读 · 1 评论