Hadoop及Spark集群部署

1.安装Hadoop2.8

先查看jdk版本,3.0需要jdk1.8。

java -version

好吧,是1.7的,得更新jdk。

file bin/ls

linux系统是x86-64的,到oracle官网下载64位的jdk。

http://download.oracle.com/otn-pub/java/jdk/8u111-b14/jdk-8u111-linux-x64.rpm


由于网络原因,挂了SS还是下载太慢了。。。改为配置Hadoop2.8

先看看JAVA环境变量有没配置好。

$JAVA_HOME
是空的。OPENJDK默认JAVA_HOME是没有配置好的。

开头我是使用

whereis java
来找的。但实际上输出的/usr/bin/java 这只是个链接。
具体的JDK在哪里,我参考了以下文章:

http://blog.csdn.net/xysoul/article/details/50342943

http://blog.csdn.net/redmoon729/article/details/51671354

最后得到我的java安装目录是在 /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java 中。

openjdk的配置如下面链接文章所示。

好吧,编辑过程中vim的操作也基本一头雾水。vim操作参考如下:

http://www.cnblogs.com/yangjig/p/6014198.html


配置好java后,下载hadoop 2.8 binary版本,hadoop官网:http://hadoop.apache.org/releases.html。

下面是2.8binary版本的下载地址:

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

下载后解压缩,

tar -xzvf hadoop-2.8.0.tar.gz 

配置hadoop文件,包括hadoop目录的/etc/hadoop下的hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slave文件。


接下来修改IP映射,

vi /etc/hostname

vi /etc/hosts

命名Master和Slaves。

依次到每个Slave中修改映射文件。


修改完成后使用

scp ./hadoop Slave1:/opt/hadoop 

把hadoop文件复制到每个slave服务器中(我的slave服务器本身就安装了java环境了)


以上过程主要参考http://www.powerxing.com/install-hadoop-cluster/

需要注意的是对于core-site.xml、hdfs-site.xml里的路径需要对应你自己的安装路径。


其它参考:

http://blog.csdn.net/garfielder007/article/details/49865863

http://blog.csdn.net/happy_wu/article/details/70240014

http://blog.csdn.net/ehcoing/article/details/70325255


2.实现无密登陆

实现主机间SSH无密登陆的步骤及原理,参考:

http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.html

http://blog.csdn.net/zhaihaifei/article/details/50523576


自己复述一遍过程吧:

例如我要用master无密访问slave1,slave2,slave3...等机器,

那么我就先使用master生成密钥:

ssh-keygen -t rsa

然后用

ssh-copy-id user@host 

user名如果相同可不填,host为主机地址

针对每个slave都重复以上操作。就可以实现无密登陆了。



-------------------------------------------------------------------------------------

附:

LINUX目录结构的含义:

http://blog.csdn.net/xysoul/article/details/50342943


profile和bashrc等的区别及联系:

http://blog.csdn.net/qiao1245/article/details/44650929

http://blog.csdn.net/chenchong08/article/details/7833242


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值