hadoop
Jhon_yh
这个作者很懒,什么都没留下…
展开
-
Hadoop 之 Yarn 及 Yarn HA的安装
YARNyarn 是Hadoop的资源调度系统yarn 通过两类长期运行的的守护进程提供自己的核心服务。管理集群上资源使用的资源管理器(ResourceManager)运行在所有节点上且能够启动和监控容器(Container)的节点管理器(node manager)容器用于执行特定应用程序的进程,每个容器都有资源限制(内存,CPU等)。...原创 2018-11-23 08:49:12 · 377 阅读 · 0 评论 -
初识Hadoop 之 HDFS 及安装【持续更新中......】
目录HDFS概念HDFS的概念存儲模型:字节架构模型常用命令:HDFS概念当数据集的大小超过一台独立的计算机的存储能力的时候,这个时候就有必要对文件进行分区(partiiton)存储在若干台计算集上。管理网络中跨多台计算机存储的文件系统,叫做分布式文件系统(Distribute FileSystem )。该系统架构于网络之上,势必会引入网络编程...原创 2019-11-28 11:48:26 · 430 阅读 · 0 评论 -
Hadoop 之 HDFS 基本概念 | 伪分布式安装/完全分布式安装
初识Hadoop 之 HDFS 及安装【持续更新中......】HDFS概念HDFS的概念存儲模型:字节架构模型NameNode(NN)DataNode(DN)SecondaryNameNode(SNN)(1.x)Block的副本放置策略HDFS读流程HDFS安装HDFS概念当数据集的大小超过一台独立的计算机的存储能力的时候,这个时候就有必要对文件进行分区(partiiton)存储在若干...原创 2019-11-28 11:47:55 · 286 阅读 · 0 评论 -
初识Hadoop之MapReduce【持续更新中】
文章目录MapReduce概念MapReduce概念MapReduce是一种可用于数据处理的编程模型。MapReduce程序本质上是并行运行的,MapReduce的优势在于处理大规模数据集。MapReduce的任务过程分为两个阶段:map 阶段和 reduce 阶段。每个阶段都以自定义类型的K-V对作为 input 和 outout ,重点是,需要我们自己实现map 和reduce 函数...原创 2018-11-30 08:41:49 · 121 阅读 · 0 评论