![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
蕾欧娜等等
这个作者很懒,什么都没留下…
展开
-
HDFS 高可用性 + 容错机制
上一篇博客介绍了 HDFS 的基本概念,读写流程以及NameNode,SecondaryNameNode 以及 DataNode 的工作机制。这篇博客介绍 HDFS 的高可用性和容错机制。 HDFS 的高可用性 HDFS的高可用指的是HDFS持续对各类客户端提供读、写服务的能力,因为客户端对HDFS的读、写操作之前都要访问name node服务器,只有从name node获取元数据之后才能继续进行读、写。所以HDFS的高可用的关键在于name node上的元数据持续可用。 在 hadoop 1.x 的 HD原创 2020-08-18 21:00:19 · 1536 阅读 · 0 评论 -
HDFS 读写数据流程以及 NameNode + 2NN + DataNode 工作机制
刚刚分享了 HDFS 的相关技术,写一篇博客记录一下。 Hadoop 是什么? HDFS 是 Hadoop 生态圈的一个组件。因此在介绍 HDFS 之前先来回顾一下 Hadoop。 Hadoop是一个由 Apache 基金会所开发的分布式系统基础架构。主要解决,海量数据的存储和分析计算问题。 广义上来说,Hadoop通常是指一个更广泛的概念 —— Hadoop 生态圈。 Hadoop 优势 高可靠性 Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或者存储出现故障,也不会导致数据的丢失原创 2020-08-18 20:52:25 · 556 阅读 · 0 评论 -
消息队列及使用场景简介 + Kafka
什么是消息标题队列? 消息队列,一般我们简称它为 MQ(Message Queue)。可以被简单理解为:把要传输的数据放在队列中。 把数据放到消息队列叫做生产者。 从消息队列里边取数据叫做消费者。 消息队列主要解决应用耦合、异步处理、流量削锋等问题。 消息队列的使用场景 消息队列在实际应用中包含以下四个场景: 应用耦合:多应用间通过消息队列对同一消息进行处理,避免调用接口失败导致整个过程失败。 异步处理:多应用对消息队列中同一消息进行处理,应用间并发处理消息,相比串行处理,减少处理时间。 限流削峰:广原创 2020-08-10 17:45:19 · 251 阅读 · 0 评论