![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
整理知识
富贵啊是你
励志做一名满头浓发的程序员
展开
-
分布式框架的知识点整理
分布式计算框架MapReduceMapReduce简介MapReduce计算模型Map和Reduce函数Shuffle机制MapReduce简介1.MapReduce是Hadoop生态中的一款分布式运算框架,它提供了非常完善的分布式架构,可以让不熟悉分布式计算的人员也能编写出优秀的分布式系统,因此可以让开发人员将精力专注到业务逻辑本身。2.MapReduce采用“分而治之”的核心思想,可以先将一个大型任务拆分成若干个简单的子任务,然后将每个子任务交给一个独立的节点去处理。当所有节点的子任务都处理完毕后原创 2020-11-09 22:24:49 · 244 阅读 · 0 评论 -
YARN知识梳理,巩固基础
统一资源管理和调度框架YARN初识YARNMapReduce 1.0存在的问题在Hadoop 1.0中YARN简介初识YARN针对MapReduce 1.0在可用性、可扩展性、资源利用率、框架支持等方面的不足,对MapReduce 1.0的架构进行了重新设计,提出了全新的资源管理和调度框架YARN。YARN是Hadoop 2.0的资源管理和调度框架,是一个通用的资源管理系统,在其上可以部署各种计算框架,它可为上层应用提供统一的资源管理和调度,它的引入为集群高可用性、可扩展性、资源利用率和数据共享等方面带原创 2020-11-11 01:19:25 · 613 阅读 · 1 评论 -
Zookeeper系统模型和工作原理
分布式协调框架ZooKeeper分布式协调技术什么是分布式协调技术?如何实现分布式锁?了解ZooKeeperZooKeeper简介ZooKeeper来源选择ZooKeeper原因ZooKeeper基本概念ZooKeeper系统模型数据模型节点特性节点结构分布式协调技术什么是分布式协调技术?什么是分布式协调技术?分布式协调技术主要用来解决分布式环境中多个进程之间的同步控制,让它们有序地访问某种临界资源,防止造成“脏数据”。为了防止分布式系统中的多个进程之间相互干扰,就需要一种分布式协调技术来对这些进程原创 2020-11-12 17:35:39 · 233 阅读 · 0 评论 -
你需要掌握的HDFS的基础知识
HDFS分布式文件系统HDFS简介HDFS文件存储机制HDFS数据读写过程HDFS简介HDFS(Hadoop Distributed File System)是Hadoop分布式文件系统,是Hadoop三大核心之一,是针对谷歌文件系统GFS(Google File System)的开源实现(The Google File System, 2003)。HDFS是一个具有高容错性的文件系统,适合部署在廉价的机器上,HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。大数据处理框架如MapRedu原创 2020-10-20 14:27:17 · 485 阅读 · 1 评论 -
Hadoop 你需要了解的基础知识
初识HadoopHadoop学习笔记初识HadoopHadoop概述Hadoop简介Hadoop特点Hadoop生态系统HDFSYARNMapReduceSparkHBaseZooKeeperHivePigImpalaMahoutFlumeSqoopKafkaAmbariHadoop概述Hadoop是一个开源的、可运行于大规模集群上的分布式存储和计算的软件框架,它具有高可靠、弹性可扩展等特点,非常适合处理海量数据。Hadoop基于Java语言开发,具有很好的跨平台特性,它允许用户使用简单的编程模型在原创 2020-10-19 18:00:35 · 347 阅读 · 1 评论