![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP
M&Yang
这个作者很懒,什么都没留下…
展开
-
kafka核心概念、组件角色介绍
1.kafka是什么? Kafka是一个分布式消息中间件,支持分区的、多副本的、多订阅者的、基于zookeeper协调的分布式消息系统。 通俗来说: kafka就是一个存储系统,存储的数据形式为“消息”; 它的主要作用类似于蓄水池,起到一个缓冲作用。 2.Kafka中有哪些重要的组件、角色? producer: 消息生产者,就是向kafka broker 发消息的客户端。 consumer : 消息消费者,从kafka broker 取消息的客户端。 consumer group:原创 2020-11-15 00:29:50 · 1960 阅读 · 0 评论 -
HDFS核心工作机制
HDFS核心工作机制 复习、回顾、简化要点,同时希望能够给到初学者有一定的帮助! HDFS是一一个分布式文件系统(管理系统:提供文件的读取服务、写入服务、查看目录信息服…. 1. HDFS 是一套分布式软件系统,里面有多重服务角色: namenode datanode 客户端 2. 文件在HDFS中是分块存储的,一个文件会被分成多个块(默认按照128M进行物理切块),每个块 随机存储在集群中的某些datanode上; 3. 每个块都有一个唯一的块ID; 4. 没给块在HDFS中都可以存储多个副本!(默认3个原创 2020-09-19 21:58:09 · 173 阅读 · 0 评论