攻城狮Kevin

目录一、Kafka是什么二、Kafka的详细架构图0. Kafka的存储结构和原理1. ProducerA2. ProducerB3. kafka分区的优势三、kafka依赖于Zookeeper，体现在三个方面一、Kafka是什么kafka是一个分布式的消息队列，类似于Flume中的Channel，用于数据的缓存；存储数据框架，减缓大量流式数据存储的压力...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wx1528159409首先规划三台节点的hadoop集群如下：hadoop100、hadoop101、hadoop102，三台集群分别安装Zookeeper和Kafka；电脑里三台节点Zookeeper已经安装完毕，下面直接开始安装Kafka。1. 下载官网安装包kafka官...

准备条件：三台服务器，主机名分别为hadoop100、hadoop101、hadoop1021. Kafka的群起集群脚本2. Kafka的群关集群脚本3. Zookeeper的群起集群脚本4. Zookeeper的群关集群脚本5. 群起Kafka和Zookeeper6. 群关Kafka和Zookeeper1. Kafka的群起集群脚本（1）在~/bin/目录下创建...

目录区别点一：区别点二：同样是流式数据采集框架，flume一般用于日志采集，可以定制很多数据源，减少开发量，基本架构是一个flume进程agent（source、拦截器、选择器、channel<Memory Channel、File Channel>、sink），其中传递的是原子性的event数据；使用双层Flume架构可以实现一层数据采集，一层数据集合；Flu...

Kafka的工程流程中主要包括了三个阶段：数据生产、数据保存和数据消费本篇博文主要整理Kafka的数据生产阶段实现原理。目录1. Kafka数据生产写入方式2. Kafka分区原因和原则首先说一下分区原因然后说一下分区原则3. kafka的副本机制4. kafka写入数据流程 ps：kafka的ack应答机制（request.requred.acks中修改...

Kafka中的消息会不会丢失或重复消费呢？为什么呢？要确定Kafka的消息是否丢失或重复，从两个方面分析入手：消息发送和消息消费1、消息发送Kafka消息发送有两种方式：同步（sync）和异步（async），默认是同步方式，可通过producer.type属性进行配置。Kafka通过配置request.required.acks属性来确认消息的生产：0：prod...

采用Lambda架构的目的是保证实时和离线数据的一致性。通俗简单理解就是：kafka中的实时数据分两个条线（1）实时条线，通过Storm、SparkStreaming、Flink等大数据实时处理框架，将kafka中的数据进行实时处理，然后将计算逻辑封装成jar包。（2）离线条线，通过Hive等，当天结束后，对上面封装成的jar包跑一遍，将离线数据分析结果导入数据应用层，覆盖掉当天之前的...