kafka
文章平均质量分 82
fishbaby-
这个作者很懒,什么都没留下…
展开
-
Kafka(消息中间件)
Kafka的原理一、消息中间件概述(MQ)二、消息中间件的组成三、消息中间件模式分类3.1 点对点3.2 发布/订阅3.3 queue和topic对比四、消息中间件的优势4.1 系统解耦4.2 提高系统响应时间4.3 为大数据处理架构提供服务4.4 Java消息服务——JMS五、消息中间件应用场景5.1 异步通信5.2 解耦5.3 减少冗余5.4 扩展性高5.5 过载保护5.6 可恢复性5.7 顺序保护5.8 缓冲5.9 数据流处理6 消息中间件常用协议6.1 AMQP协议6.2 MQTT协议6.3 STO原创 2021-06-06 21:13:08 · 901 阅读 · 0 评论 -
Kafka(数据从Kafka导入到Hbase)
数据从Kafka导入到Hbase一、数据从Kafka导入到Hbase(1) 非面向对象写法(2) 面向对象(OOP)写法1)先将这一段写成接口,这里面的内容根据不同的表数据结构而不同,其余部分的代码都几乎是不用变化的2)将写入hbase部分写成接口形式(红色方框的部分)3)最后将kafka消费端属性配置写入接口二、提取接口遵循规则一、数据从Kafka导入到Hbase前面两篇博客是第一步和第二步操作(1)将数据通过flume导入kafka:(2)将导入kafka的数据通过kafka streamin原创 2021-06-06 21:04:57 · 3336 阅读 · 0 评论 -
Kafka-Streaming
Kafka Streaming一、流计算定义二、Kafka Streams2.1 概述2.2 kafka streams的优点2.3 Topology实例1:实例2:三、窗口3.1 Hopping time window3.1 Tumbling time window3.1 Session window一、流计算定义一般流式计算会与批量计算相比较。在流式计算模型中,输入是持续的,可以认为在时间上是无界的,也就意味着,永远拿不到全量数据去做计算。同时,计算结果是持续输出的,也即计算结果在时间上也是无界的。原创 2021-06-06 21:04:29 · 623 阅读 · 0 评论 -
Kafka(单机安装配置、常用操作)
Kafka的单机安装配置、常用操作一、Kafka的单机安装二、kafka基本操作三、kafka — Java API一、Kafka的单机安装1、解压2、改名字mv kafka_2.11-2.0.0.tgz kafka2113、进入producer.properties,修改配置文件[root@hadoop2 kafka211]# vi ./config/producer.properties修改以下四个地方:先在 kafka211的路径下创建kafka211-logs文件夹,日原创 2021-06-06 21:02:44 · 414 阅读 · 0 评论 -
kafka(数据可靠性深度解读)
kafka 数据可靠性深度解读一、概述二、Kafka体系架构![在这里插入图片描述](https://img-blog.csdnimg.cn/20210523161701856.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDA1NTQw,size_16,color_FFFFFF,t_70)2.1 Kafka架构中的主要角色2.2原创 2021-06-06 21:02:18 · 291 阅读 · 0 评论