- 博客(2)
- 收藏
- 关注
RSS订阅转载 Hadoop基础——HDFS、MapReduce、Yarn的运行原理和机制
一、HDFS的读写机制 1.HDFS的写入流程图 2.详解 首先我要将一个200M文件存到HDFS集群中。 客户端通过RPC（远程服务）访问NameNode，请求写入一个文件。 NameNode检查客户端是否有权限写入，如果有权限返回一个响应。如果没有客户端就会抛出一个异常。 客户端会将文件按BlckSize大小（默认128M）将文件切分成一个一个Block块，然后请求写入第一个Block块。 NameNode会根据它的负载均衡机制，给
2020-08-03 11:35:16
333
转载 kafka 的工作原理
一、 点对点模式 如上图所示，点对点模式通常是基于拉取或者轮询的消息传送模型，这个模型的特点是发送到队列的消息被一个且只有一个消费者进行处理。生产者将消息放入消息队列后，由消费者主动的去拉取消息进行消费。点对点模型的的优点是消费者拉取消息的频率可以由自己控制。但是消息队列是否有消息需要消费，在消费者端无法感知，所以在消费者端需要额外的线程去监控。 二、 发布订阅模式 如上图所示，发布订阅模式是一个基于消息送的消息传送模型，改模型可以有多种不同的订阅者。生产者将消息放入消息队列后，队...
2020-08-02 16:44:20
142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人