大数据最全技术架构—各类技术选型与区别答疑—【区别-缺点与不足】，2024年最新最新阿里+头条+腾讯大厂大数据开发笔试真题

本文链接：https://blog.csdn.net/2401_84164617/article/details/138913214

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

采集层主要可以使用Flume, Kafka两种技术。

Flume：Flume 是管道流方式，提供了很多的默认实现（扇入流、扇出流等），让用户通过参数部署，也可扩展API.

Kafka：Kafka是一个可持久化的磁盘顺序存储（磁盘的顺序读写）的分布式的消息队列。你可以有许多生产者和很多的消费者共享多个主题Topics。消费方式采用pull方式 (主动消费类型)，兼顾了消费者的消费能力，消费可以根据自身消费能力消费数据，传统的消息队列系统能够很好的处理实时或者近似实时的应用，但未处理的数据通常不会写到磁盘上kafka 可持久化数据使其够很好地进行离线和在线处理。

相比之下,Flume是一个专用工具被设计为旨在往HDFS,HBase发送数据。它对HDFS有特殊的优化，并且集成了Hadoop的安全特性。所以，Cloudera 建议如果数据被多个系统消费的话，使用kafka；如果数据被设计给Hadoop使用，使用Flume。业务场景中可以同时使用Kafka与Flume，大概的架构图如下

拓展部分：

Cloudera ：(由于Hadoop深受客户欢迎，许多公司都推出了各自版本的Hadoop，也有一些公司则围绕Hadoop开发产品。在Hadoop生态系统中，规模最大、知名度最高的公司则是Cloudera)

1. 消息中间件的中数据的消费方式：

分类： 分为push和pull两种方式，push为被动消费类型，pull为主动消费类型

区别：

①Push方式：由消息中间件主动地将消息推送给消费者；

②Pull方式：由消费者主动向消息中间件拉取消息。

优缺点：

两种方式的缺点与不足：


Push方式：	优点是可以尽可能快地将消息发送给消费者，缺点是如果消费者处理能力跟不上，消费者的缓冲区可能会溢出。
Pull方式：	优点是消费端可以按处理能力进行拉去，缺点是会增加消息延迟。

市面上常见消息中间件默认的方式：

RabbitMQ 消费者默认是推模式（也支持拉模式）。

RocketMQ 消费者默认是推模式（也支持拉模式）（从严格意义上说，RocketMQ并没有实现真正的消息消费的Push模式，而是对Pull模式进行了一定的优化）

Kafka 默认是拉模式。

处理性能上： Kafka>RocketMQ>RabbitMQ。

各种消息中间件使用场景：

Kafka 是高吞吐量消息中间件的行业老大。主要特点是基于Pull的模式来处理消息消费，支持数据持久化，

高效的磁盘顺序读写（这主要在于它的队列模式保证了写磁盘的过程是线性IO 即磁盘顺序读写。）Kafka 还支持batch 操作，

适合产生海量数据的互联网服务的数据收集业务。

RabbitMQ 基于AMQP协议来实现，对数据一致性、稳定性和可靠性要求很高的场景

AMQP协议更多用在企业级系统内，目前在传统的信息系统项目中使用的多

RocketMQ 思路起源于Kafka，但并不是Kafka的一个Copy，它对消息的可靠传输及事务性做了优化