hadoop
文章平均质量分 83
zhoushuai3066
这个作者很懒,什么都没留下…
展开
-
hadoop2.2.0安装与启动
Setup newest Hadoop 2.x (2.2.0) on Ubuntu In this tutorial I am going to guide you through setting up hadoop 2.2.0 environment on Ubuntu. Prerequistive $ sudo apt-get install openjdk-7-jdk转载 2013-11-19 08:05:38 · 6886 阅读 · 4 评论 -
spark 1.1.0 on hadoop 2.4.1 安装笔记 (resourcemanager ha 支持)
java高级交流群:37341439 ,, 如果文章看不懂的,可以加群问我哦~~一起学习。 由于spark1.1.0还没正式发布只是v1.1.0-snapshot2 版本。但是hadoop2.4.1的resourcemanager ha 在spark 1.0.2版本还不支持(提交spark到yarn的时候。applicationmaster老是会请求本地的8030端口原创 2014-08-22 15:53:46 · 4762 阅读 · 0 评论 -
oozie on yarn oozie 4.0.1 hadoop2.3.0 安装笔记
oozie 需要编译哦~~ 编译下载的依赖有800多m呢,,所以得找台网络好点的机器去编译。。。 1:下载地址:http://mirror.bit.edu.cn/apache/oozie/ 2:ext2.2.zip下载地址:http://oozie.apache.org/docs/4.0.1/DG_QuickStart.html oozie的quick start页面原创 2014-05-23 17:08:55 · 4048 阅读 · 0 评论 -
hbase on yarn 安装笔记,私货,浅显易懂
java高级交流群: hbase不需要编译,只需要选择需要的hadoop版本对应的hbase就可以。比如hbase-0.98.2-hadoop2-bin.tar.gz 1:集群机器间要建立ssh互信 先到所有机器执行下面代码创建rsa mkdir ~/.ssh chmod 700 ~/.ssh ssh-原创 2014-05-23 13:12:12 · 3340 阅读 · 1 评论 -
spark on yarn 安装笔记,私货总结!浅显易懂!
1:需要在各个机器安装scala ,安装taz包 2:需要编译spark 记得编译的用户要安装scala 并且设置SCALA_HOME变量 如果报protobuf错误,可能是因为protobuf和pom.xml的版本不一致,可以修改pom.xml里面的protobuf版本号 2.5.0 用maven编译:编译命令如下: export MAVEN_OPTS原创 2014-05-23 13:01:37 · 9396 阅读 · 0 评论 -
storm on yarn 最简单安装笔记!!!私货哦!!!
下载地址:https://github.com/yahoo/storm-yarn 下载好的storm-yarn-master.zip 得放到linux进行解压,在windows解压的话,lib目录下的软连接会丢失 1:storm on yarn 需要编译 unzip storm-yarn-master.zip 然后进入 storm-yarn-原创 2014-05-23 12:53:28 · 5392 阅读 · 1 评论 -
storm on yarn 安装
原文地址:http://hortonworks.com/kb/storm-on-yarn-install-on-hdp2-beta-cluster/ This is the installation instructions for Storm on YARN. Our work is based on the code and documentation provided by Yah转载 2014-01-24 10:32:30 · 3263 阅读 · 4 评论 -
hadoop2.0 yarn 总结 基于hadoop2.2.0
java高级交流群:37341439 欢迎所有学习hadoop2.2.0的朋友加入讨论交流,分享实战经验!我们群无下限哦~~ hadoop 2.0 hadoop2.0的组成: 1:计算框架:MRv2:(与mrv1有相同的编程模型和数据处理引擎(优化过),唯一不同的是运行时环境。) 编程模型:新旧api,新api兼容旧api方面还存原创 2014-01-01 12:19:45 · 4154 阅读 · 2 评论 -
hadoop2.0 yarn 之 mapreduce on yarn (MRv2) 基于hadoop2.2.0
java高级交流群:37341439 欢迎所有学习hadoop2.2.0的朋友加入讨论交流,分享实战经验!我们群无下限哦~~ mapreduce on yarn (MRv2) mapreduce on yarn 与MRv1在编程模型和数据处理引擎方面的实现是一样的,唯一的区别是运行时环境,mapreduce on yarn的运行时环境由 yarn 和applicationmaster构成。原创 2014-01-01 12:29:33 · 5491 阅读 · 0 评论 -
hadoop2.0 yarn 之 资源调度器 基于hadoop2.2.0
资源调度器是 hadoop yarn中最核心的组件之一,是resourcemanage中一个插拔式的服务组件,负责整个集群资源(container)的管理和分配。 背景: hadoop最初设计目的是支持大数据批处理作业,如日志挖掘,web索引等作业,为此,hadoop仅提供了一个非常简单的调度机制:FIFO,即先来先服务,在该调度机制下,所有作业被统一提交到一个队原创 2014-01-01 12:49:59 · 6645 阅读 · 0 评论