hadoop
文章平均质量分 64
suejl
这个作者很懒,什么都没留下…
展开
-
hadoop常用命令
分类: 原文地址:hadoop常用命令 作者:gray1982启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容hadoop dfs –ls [文件目录]e转载 2014-05-02 05:53:55 · 646 阅读 · 0 评论 -
我用过的hadoop命令(持续更新)
接上篇转载,此处记录我用过的哈达哦哦怕原创 2014-05-02 06:03:18 · 670 阅读 · 0 评论 -
hadoop 程序遇到的问题
java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: Hadoop_FPTree$MRMapper.init>() at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:403)原创 2014-05-16 04:18:38 · 6458 阅读 · 1 评论 -
hadoop jar singlnode下运行的命令行输出
[hadoop@aaa ~]$ hadoop jar /opt/workspace/PGMdriver.jar GibbsSamplingDriver /output14/05/22 20:39:13 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:803214/05/22 20:39:13 WARN mapredu原创 2014-05-23 03:02:54 · 1169 阅读 · 0 评论 -
Hadoop技术原理总结
转自1、Hadoop运行原理 Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架,其最核心的设计包括:MapReduce和HDFS。基于 Hadoop,你可以轻松地编写可处理海量数据的分布式并行程序,并将其运行于由成百上千个结点组成的大规模计算机集群上。 基于MapReduce计算模型编写分布式并行程序相对简单,程序员的主要工作就是设计转载 2014-05-11 19:01:05 · 881 阅读 · 0 评论 -
剖析MapReduce作业运行机制
转自http://my.oschina.net/u/1169079/blog/201738转载 2014-05-11 18:43:02 · 978 阅读 · 0 评论 -
hadoop各种输入方法(InputFormat)汇总
mapreduce中,一个job的map个数,每个map处理的数据量是如何决定的呢?另外每个map又是如何读取输入文件的内容呢?用户是否可以自己决定输入方式,决定map个数呢?这篇文章将详细讲述hadoop中各种InputFormat的功能和如何编写自定义的InputFormat. 简介: mapreduce作业会根据输入目录产生多个map任务,通过多个map任转载 2014-05-16 00:32:02 · 1127 阅读 · 0 评论 -
[Hadoop源码详解]之一MapReduce篇之InputForma
原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处 、作者信息和本声明。否则将追究法律责任。http://shitouer.cn/2013/02/hadoop-source-code-analyse-mapreduce-inputformat/1. 概述我们在设置MapReduce输入格式的时候,会调用这样一条语句:?1jo转载 2014-05-16 05:07:36 · 721 阅读 · 0 评论 -
hadoop 未启动datanode
分别运行 start-dfs.sh, start-yarn.shjps后只有原创 2014-05-02 04:09:15 · 1012 阅读 · 0 评论 -
hadoop distributed cache
distributed cache使用的流程总结如下:1.在HDFS上准备好要共享的数据(text、archive、jar)2.在distributed cache中添加文件3.在mapper或者reducer类中获取数据4.在map或者reduce函数中使用数据原创 2014-05-03 03:39:07 · 770 阅读 · 0 评论 -
Hadoop 2.x的DistributedCache无法工作的问题
现象:和这个帖子描述的一样,简单说来就是,在Hadoop 2.x上,用新的DistributedCache的API,在mapper中会获取不到这个cache文件。下面就详细地描述一下新旧API的用法区别以及解决办法。『1』旧API将HDFS文件添加到distributed cache中:12Configuration conf = j转载 2014-05-03 05:43:57 · 985 阅读 · 0 评论 -
HBase 超详细介绍
转自:作者:奥特man,发布于2012-12-14,来源:CSDN1-HBase的安装HBase是什么?HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所转载 2015-12-24 11:21:11 · 1183 阅读 · 0 评论