hadoop
文章平均质量分 79
happytengfei
编程爱好者——小牛
展开
-
Map-Reduce的过程解析
一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的:public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient jc转载 2014-04-19 18:50:10 · 459 阅读 · 0 评论 -
hadoop core-site.xml、hdfs-site.xml、mapred-site.xml
3.1 core-default.html序号参数名参数值参数说明1hadoop.tmp.dir /tmp/hadoop-${user.name}转载 2014-04-19 18:57:52 · 2609 阅读 · 0 评论 -
Hadoop fs命令
1,hadoop fs –fs [local | ]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的转载 2014-04-19 18:53:18 · 2457 阅读 · 0 评论 -
Hadoop 任务配置示例
mapred.job.nameThe name of the job.mapred.mapper.classorg.apache.hadoop.mapred.lib.IdentityMapperThe full class name of the mapper.mapred.combiner.classThe full class name of the combine转载 2014-06-22 16:15:10 · 411 阅读 · 0 评论