Hadoop及Spark集群部署

1.安装Hadoop2.8

先查看jdk版本，3.0需要jdk1.8。

java -version

好吧，是1.7的，得更新jdk。

file bin/ls

linux系统是x86-64的，到oracle官网下载64位的jdk。

http://download.oracle.com/otn-pub/java/jdk/8u111-b14/jdk-8u111-linux-x64.rpm

由于网络原因，挂了SS还是下载太慢了。。。改为配置Hadoop2.8

先看看JAVA环境变量有没配置好。

$JAVA_HOME

是空的。OPENJDK默认JAVA_HOME是没有配置好的。

开头我是使用

whereis java

来找的。但实际上输出的/usr/bin/java 这只是个链接。
具体的JDK在哪里，我参考了以下文章：

http://blog.csdn.net/xysoul/article/details/50342943

http://blog.csdn.net/redmoon729/article/details/51671354

最后得到我的java安装目录是在 /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java 中。

openjdk的配置如下面链接文章所示。

好吧，编辑过程中vim的操作也基本一头雾水。vim操作参考如下：

http://www.cnblogs.com/yangjig/p/6014198.html

配置好java后，下载hadoop 2.8 binary版本，hadoop官网：http://hadoop.apache.org/releases.html。

下面是2.8binary版本的下载地址：

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

下载后解压缩，

tar -xzvf hadoop-2.8.0.tar.gz 

配置hadoop文件，包括hadoop目录的/etc/hadoop下的hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slave文件。

接下来修改IP映射，

vi /etc/hostname

vi /etc/hosts

命名Master和Slaves。

依次到每个Slave中修改映射文件。

修改完成后使用

scp ./hadoop Slave1:/opt/hadoop 

把hadoop文件复制到每个slave服务器中（我的slave服务器本身就安装了java环境了）

以上过程主要参考http://www.powerxing.com/install-hadoop-cluster/

需要注意的是对于core-site.xml、hdfs-site.xml里的路径需要对应你自己的安装路径。

其它参考：

http://blog.csdn.net/garfielder007/article/details/49865863

http://blog.csdn.net/happy_wu/article/details/70240014

http://blog.csdn.net/ehcoing/article/details/70325255

2.实现无密登陆

实现主机间SSH无密登陆的步骤及原理，参考：

http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.html

http://blog.csdn.net/zhaihaifei/article/details/50523576

自己复述一遍过程吧：

例如我要用master无密访问slave1,slave2,slave3...等机器，

那么我就先使用master生成密钥:

ssh-keygen -t rsa

然后用

ssh-copy-id user@host 

user名如果相同可不填，host为主机地址

针对每个slave都重复以上操作。就可以实现无密登陆了。

-------------------------------------------------------------------------------------

附：

LINUX目录结构的含义：

http://blog.csdn.net/xysoul/article/details/50342943

profile和bashrc等的区别及联系：

http://blog.csdn.net/qiao1245/article/details/44650929

http://blog.csdn.net/chenchong08/article/details/7833242