![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
SmallCSer
这个作者很懒,什么都没留下…
展开
-
Hadoop安装过程
以hadoop1.2.1为例 一、安装jdk 二、安装hadoop 1、解压到/usr/local/hadoop 2.配置文件 (1)伪分布式 a. hadoop-env.sh 配置JAVA_PATH:export JAVA_PATH = /usr/local/hadoop/ b.hdfs-site.xml configuration>原创 2014-01-27 19:43:22 · 630 阅读 · 0 评论 -
配置cygwin构建hadoop环境
参照:http://blog.chinaunix.net/uid-26200547-id-3410003.html http://www.cnblogs.com/coder2012/archive/2013/05/25/3096631.html转载 2014-01-28 17:13:42 · 638 阅读 · 0 评论 -
[MapReduce] 如何向map和reduce脚本传递参数,加载文件和目录
本文主要讲解三个问题: 1 使用Java编写MapReduce程序时,如何向map、reduce函数传递参数。 2 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时,如何向map、reduce脚本传递参数。 3 使用Streaming编写MapReduce程序(C/C++, Shell, Python)转载 2015-08-27 14:14:44 · 6906 阅读 · 0 评论 -
hadoop namenode切换
hdfs haadmin -transitionToActive --forcemanual nn1原创 2015-10-08 19:48:51 · 660 阅读 · 0 评论 -
Hadoop2.2内存调优
原文 http://qindongliang.iteye.com/blog/2152791 今天散仙写了个MapReduce作业,目的是读数据库里面多个表的数据,然后在JAVA中根据具体的业务情况做过滤,并把符合数据的结果写入到HDFS上,在Eclipse里面提交作业进行调试的时候,发现在Reduce阶段,总是抛出Java heap space的异常,这异常明显,就是堆内存溢出造成转载 2015-10-21 15:00:58 · 440 阅读 · 0 评论 -
YARN内存使用优化配置
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示 YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每转载 2015-10-22 19:09:02 · 6550 阅读 · 0 评论 -
一张图理解mapreduce的shuffle
map - shuffle-reduce原创 2015-10-10 16:12:02 · 572 阅读 · 0 评论 -
Yarn简单介绍及内存配置
在这篇博客中,主要介绍了Yarn对MRv1的改进,以及Yarn简单的内存配置和Yarn的资源抽象container。 我么知道MRv1存在的主要问题是:在运行时,JobTracker既负责资源管理又负责任务调度,这导致了它的扩展性、资源利用率低等问题。之所以存在这样的问题,是与其最初的设计有关,如下图: 从上图可以看到,MRv1是围绕着MapReduce进行,并没有过多地考虑以后出现的其它转载 2015-10-26 17:33:58 · 5253 阅读 · 0 评论