hadoop
mumumuyanyanyan
我也想像大牛们
展开
-
MapReduce工作原理简介
由于工作后的第一个任务就是使用Hadoop进行大量的数据处理,其中使用的MapReduce计算框架,这里就简单做了一些总结,网上也有很多大神的总结,这里就当作自己的一个小小积累了。1.概述 MapReduce采用的是“分而治之”的数据,当我们处理大规模的数据时,将这些数据拆解成多个部分,并利用集群的多个节点同时进行数据处理,然后将各个节点得到的中间结果进行汇总,经过进一步的计算(该计...原创 2018-04-30 16:49:20 · 4895 阅读 · 0 评论 -
MapReduce在yarn中的执行过程
在MapReduce工作原理简介中我简单的了解了MapReduce的工作原理,在这篇文章中,我们将要了解MapReduce的执行过程。我们知道从Hadoop2.X,采用的是yarn作为资源管理系统,我们将要了解MapReduce在yarn中的执行过程。同样,对于yarn,网上有很多大神的写的博客,这里我主要是结合自己的理解,对知识进行积累。1.概念名词简介 yarn是资源管理系统,采...原创 2018-04-30 22:28:29 · 789 阅读 · 0 评论 -
Hadoop 64位Windows系统本地化
为了工作操作方便,我在64位Windows系统下运行Hadoop,这里只要两个步骤。 1.下载插hadoop_dll2.6.0_64bit,然后在一个没有中文的目录下进行解压。 下载地址:https://download.csdn.net/download/sinat_27634939/10439681 2.设置环境变量,HADOOP_HOME=你的本地目录/hado...原创 2018-05-26 19:44:54 · 400 阅读 · 0 评论