Kafka
ICanDoItHaHa
这个作者很懒,什么都没留下…
展开
-
实时数据项目Kafka之本地模拟
实时数据项目Kafka之本地模拟1.大局准备在集群机器上创建两个文件夹2.数据获取3.数据传输4.数据传输1.大局准备在集群机器上创建两个文件夹一个RealTimeDataReceiver4Shell文件夹,一个RealTimeDW4Shell文件夹RealTimeDW4Shell负责:1.下载需要的数据文件, 2.把数据文件行读取进行编码传输到url接收器RealTimeDataReceiver4Shell负责:1.启动java类包,url接收器接收编码的数据然后转发给kafka,2.kafka原创 2020-12-24 21:40:33 · 664 阅读 · 2 评论 -
Kafka应用之SparkStreaming集成
1.SparkStreaming继承Kafka实现方法1.基于Receiver方式实现逻辑先把数据从kafka中读取出来,然后缓存在内存,再定时处理具体流程在提交Spark Streaming任务后,Saprk集群会持续不断,异步读取Kafka的数据,读取时间间隔以及每次读取offsets范围可以由参数来配置读取的数据保存在Receiver中当driver出发batch任务的时候,Receivers中的数据会转移到剩余的Executors中去执行在执行完之后,Receivers会相应更新Zo原创 2020-12-22 19:42:09 · 123 阅读 · 0 评论 -
Kafka - 架构 和 Shell操作案例
1.Kafka架构设计角色说明Producer负责生成消息,并把消息push到broker集群当中该角色因为通过zookeeper而知道应该push到broker集群的哪个或者哪几个broker中Broker负责接收Producer生产者push过来的消息,存储到所在的机器文件中Consumer Group每个Consumer属于一个特定的Consumer Group一条消息可以发送给多个不同的Consumer Group,不同的Group都可以消费统一条消息,但是一个Consumer原创 2020-12-21 20:53:03 · 178 阅读 · 2 评论 -
Kafka的相关知识
Kafka1.定义一种高吞吐量的分布式、支持分区、多副本的,基于zookeeper协调的消息系统2.特性稳定性高 通过O(1)的磁盘数据结构提供消息的持久化,这种结构就算是TB以上级别的消息存储都能够保持长 时间的稳定性能高吞吐量、低延迟 普通的硬件Kafa也可以支持每秒数百万的消息 延迟最低只有几毫秒高并发 支持数千个客户端同时读写容错性好 消息的负载均衡的存储与消费 支持通过kafka服务器集群来分区存储、分布式消费消息的机制.良好支持hadoop并行计算 支持Hadoo原创 2020-12-21 19:51:35 · 52 阅读 · 0 评论