hadoop
olso
这个作者很懒,什么都没留下…
展开
-
hadoop集群添加节点
在linux环境下hadoop2.X完全分布式搭建 http://blog.csdn.net/u012480384/article/details/40514359 最近在搭建hadoop集群,由于不断有师弟想加入到里面,所以不断要添加节点。 这里总结一下: 总思路: 要添加的节点与集群中的所有节点都配置无密码登陆。 在master的机器上,修改/etc/hos原创 2014-11-10 20:53:49 · 549 阅读 · 0 评论 -
hadoop2.4.1集群安装spark1.1.0
本文介绍的是如何将Apache Spark部署到Hadoop 2.4.1上,如果你们的Hadoop是其他版本,比如CDH4,可直接参考官方说明操作。 需要注意两点:(1)使用的Hadoop必须是2.0系列,比如0.23.x,2.0.x,2.x.x或CDH4、CDH5等,将Spark运行在Hadoop上,本质上是将Spark运行在Hadoop YARN上,因为Spark自身只提供了作业管理功能,资原创 2014-11-10 21:42:15 · 1481 阅读 · 0 评论 -
linux环境下,hadoop2.4.0源码编译
一、前言 最近看了一些关于hadoop的内容,作为一个非常棒的开源项目,阅读与编译源码是一些基本工作。所以在网上找了一些资料实现了一下。感谢大牛们的无私共享与指导。 Hadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Windows下编译源代码,本文基本是遵照BUILDING.txt指示来操作的,这里再做一下简单的提炼。转载 2014-09-30 16:08:10 · 652 阅读 · 0 评论 -
linux下hadoop2.x完全分布式配置
hadoop完全分布式配置。 过程大致如下: 1.创建新用户并添加到sudoers 2.更改hosts,hostname文件 3.安装jdk,并配置环境变量 4.设置ssh无密码登录 5.hadoop安装,设置文件 1.创建新用户 $ adduser hadoop $ sudo vi /etc/sudoers 在 # User privileg原创 2014-10-27 20:29:38 · 1147 阅读 · 0 评论