hadoop
文章平均质量分 60
w98degrees
这个作者很懒,什么都没留下…
展开
-
单机版搭建hadoop环境图文解析
单机版搭建hadoop环境图文解析 安装过程: 一、安装Linux操作系统二、在Ubuntu下创建hadoop用户组和用户三、在Ubuntu下安装JDK四、修改机器名五、安装ssh服务六、建立ssh无密码登录本机七、安装hadoop八、在单机上运行hadoop一、安装Linux操作系统 略二、在Ubuntu下创建hadoop用户组和用户 这里考虑的是以后涉及到hadoo...原创 2012-09-17 17:31:20 · 217 阅读 · 0 评论 -
Hadoop的shell脚本分析
Hadoop的shell脚本分析 这些天一直学习hadoop,学习中也遇到了许多的问题,主要是对hadoop的shell脚本和hadoop的源码概念不够清楚,所以我就对hadoop的bin目录下的shell脚本进行了研究,有一些成果想记录下来。 脚本分析: bin=`dirname "$0"`bin=`cd "$bin"; pwd`if [ -e "$...原创 2012-09-17 17:57:22 · 106 阅读 · 0 评论 -
LINUX下单机安装HADOOP+HIVE手册
HADOOP篇HADOOP安装1.tar -zvxf hadoop-0.19.2.tar.gz2.HADOOP的安装路径添加到环境文件/etc/profile中:export HADOOP_HOME=/home/hadoop/setup/hadoop-0.19.2export PATH=$HADOOP_HOME/bin:$PATHHADOOP配置1.在$HADOOP/...原创 2013-02-17 14:07:37 · 326 阅读 · 0 评论 -
MRUnit使用
MRUnit是一个用于测试mapreduce程序的java框架,它可以很方便地测试Mapper和rudecer程序 使用方法:在maven中加入下面配置:<dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit</art...原创 2013-02-19 19:15:41 · 159 阅读 · 0 评论 -
MRUnit测试教程
https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial原创 2013-02-19 19:31:28 · 189 阅读 · 0 评论 -
Cloudera Hadoop CDH上安装R及RHadoop(rhdfs/rmr2/rhbase/RHive)
转自:http://www.geedoo.info/installed-on-the-cloudera-hadoop-cdh-r-and-rhadoop-rhdfs-rmr2-rhbase-rhive.html前言:RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages,分别为支持用R来编...原创 2013-10-12 10:24:08 · 227 阅读 · 0 评论