Kafka
文章平均质量分 94
小学僧来啦
这个作者很懒,什么都没留下…
展开
-
Kafka架构及应用
@Author : Spinach | GHB@Link : http://blog.csdn.net/bocai8058Kafka简介Kafka基本概念Kafka架构分布式(Distribution)kafka运行过程Kafka配置Kafka应用场景总结Kafka简介kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处...原创 2018-08-25 22:45:09 · 496 阅读 · 0 评论 -
Kafka数据一致性
@Author : Spinach | GHB@Link : http://blog.csdn.net/bocai8058文章目录数据存储Topic逻辑结构多Parition的优点/缺点Partition存储结构根据offset查找msg的过程Partition recovery过程数据的同步数据流数据可靠性保证数据一致性保证HDFS数据组织数据存储Topic逻辑结构Top...原创 2018-10-06 22:05:40 · 687 阅读 · 0 评论 -
Kafka中多个partition怎么保证跨区消费是有序的
@Author : Spinach | GHB@Link : http://blog.csdn.net/bocai8058文章目录官方说明解决方法官方说明这个问题严格来说是肯定有的,kafka只能保证分区内的有序性。下面是kafka作者Jay Kreps的blog中介绍kafka设计思想的一段话:Each partition is a totally ordered l...原创 2018-10-06 22:08:57 · 11817 阅读 · 3 评论 -
Flume、Kafka、Hbase、Hive适用场景
@Author : Spinach | GHB@Link : http://blog.csdn.net/bocai8058文章目录Flume、Kafka适用场景Hbase适用场景Hive适用场景Flume、Kafka适用场景Kafka、Flume都可以实现数据的传输,但它们的侧重点不同。Kafka追求的是高吞吐量、高负载(topic下可以有多个partition)Flu...原创 2018-10-06 22:10:11 · 1628 阅读 · 0 评论 -
从kafka中自定义处开始获取数据
@Author : Spinach | GHB@Link : http://blog.csdn.net/bocai8058文章目录从开头处获取数据从当前最新获取数据从上次断开处获取数据从指定offset处获取数据从指定时刻获取数据三种情况的消费者不同使用方式下,消费者提交offset的情况进行了归总和说明:从开头处获取数据配置设置设置auto.offset.reset...原创 2018-10-06 22:10:54 · 1049 阅读 · 0 评论 -
ZooKeeper在Kafka中的作用
@Author : Spinach | GHB@Link : http://blog.csdn.net/bocai8058文章目录Broker注册Topic注册生产者负载均衡消费者负载均衡消费分区与消费者的关系消息消费进度Offset记录消费者注册Broker注册Broker是分布式部署并且相互之间相互独立,但是需要有一个注册系统能够将整个集群中的Broker管理起来,此时就使...原创 2018-10-07 11:01:24 · 660 阅读 · 0 评论 -
Spark Streaming与Kafka数据一致性
@Author : Spinach | GHB@Link : http://blog.csdn.net/bocai8058[TOC]当我们正确地部署好Spark Streaming,我们就可以使用Spark Streaming提供的零数据丢失机制。为了体验这个关键的特性,你需要满足以下几个先决条件:输入的数据来自可靠的数据源和可靠的接收器;应用程序的metadata被app...原创 2018-10-14 21:37:04 · 1282 阅读 · 0 评论 -
Spark-streaming kafka数据接收两种方式
@Author : Spinach | GHB@Link : http://blog.csdn.net/bocai8058文章目录1 Receiver-based Approach2 Direct Approach (No Receivers)1 Receiver-based Approachimport org.apache.spark.streaming.kafka._ ...原创 2018-10-14 21:55:41 · 365 阅读 · 0 评论