hadoop
文章平均质量分 79
记录点滴人生
这个作者很懒,什么都没留下…
展开
-
图示Hadoop MapReduce的生命周期
作业的整个运行过程分为5个步骤:1、作业的提交和初始化。用户提交作业后,由JobClient实例将作业相关信息(jar包、配置文件xml、分片元信息等)上传到HDFS。然后,JobClient通过RPC通知JobTracker。JobTracker接收到新作业请求后,由作业调度模块对作业进行初始化,为作业创建一个JobInProgress对象以跟踪作业的运行状况,而转载 2014-09-09 16:10:10 · 957 阅读 · 0 评论 -
Shuffle过程剖析及性能优化
MapReduce确保每个reducer的输入都按键排序。Shuffle:系统执行排序的过程—将map输出作为输入传给reducer(如图1、图2)。图1图2如图1、图2所示,从map输出到reduce输入就是shuffle阶段。但实际执行过程远比上图所示复杂。Shuffle 是指从Map 产生输出开始,包括系统执行排序以及传送Map 输出到Reducer 作为转载 2014-08-14 10:47:55 · 777 阅读 · 0 评论 -
KeyValueTextInputFormat 分割key value For hadoop 1.0
对于要分割这样的文本:1,21,32,4.......需要使用hadoop的KeyValueTextInputFormat,于是乎就要配置:Configuration conf = new Configuration();Job job = new Job(conf,"MyJob");conf.set("mapreduce.input.k转载 2014-09-11 14:44:10 · 659 阅读 · 0 评论 -
Hadoop hdfs权限问题
因为Eclipse使用hadoop插件提交作业时,会默认以 DrWho 身份去将作业写入hdfs文件系统中,对应的也就是 HDFS 上的/user/xxx , 我的为/user/hadoop , 由于 DrWho 用户对hadoop目录并没有写入权限,所以导致异常的发生。他提供的解决方法为:放开 hadoop 目录的权限 , 命令如下 :$ hadoop fs -chmod 777 /us转载 2015-03-19 10:52:39 · 984 阅读 · 0 评论 -
启动NameNode报NullPointerException
在Hadoop版本0.20.1, 0.21.0 存在一个bug,NameNode同步失败,current产生了一个edits.new,和fsimage同步时又出现异常,而SecondNameNode也产生了同样的目录结构和数据,并报如下异常:Our secondary name node is not able to start on NullPointerExceptio原创 2015-04-29 01:45:41 · 1788 阅读 · 0 评论 -
Mapreduce的性能调优
这里主要针对Mapreduce的性能调优。这一两个月在做mapreduce的性能调优,有些心得,还是要记下来的,以郷后人~这里主要涉及的参数包括:HDFS:dfs.block.sizeMapredure:io.sort.mbio.sort.spill.percentmapred.local.dirmapred.map.tasks & mapred.tasktracker.m转载 2015-04-29 15:18:53 · 995 阅读 · 0 评论 -
hadoop2.2.0 centos 编译安装详解
废话不讲,直切正题。搭建环境:Centos x 6.4 64bit1、安装JDK我这里用的是64位机,要下载对应的64位的JDK,下载地址:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html,选择对应的JDK版本,解压JDK,然后配置环境变量,转载 2015-07-22 17:07:26 · 575 阅读 · 0 评论 -
hadoop-2.6.0-src源码导入Eclipse
一.导入先修改源码 参考 二.改错里面的第3条1.cd到 hadoop-2.6.0-src/hadoop-maven-pluginsmvn intall2.在cd到hadoop-2.6.0-src 目录下mvn eclipse:eclipse -DskipTests3. 在Eclipse中:File-Import-Existing Projects转载 2015-07-23 16:29:51 · 1067 阅读 · 0 评论