0.环境介绍:
1)ubuntu14.04 docker镜像
地址:https://github.com/gaojunhao/ubuntu14.04
2)hadoop2.7.3
地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz
3)JDK1.8
这里下载的是jdk-8u74-Linux-x64.gz
地址:http://www.Oracle.com/technetwork/Java/javase/downloads/jdk8-downloads-2133151.html
4)docker 17.03.0-ce for ubuntu
地址:https://store.docker.com/editions/community/docker-ce-server-ubuntu?tab=description
5)hive1.2.1
地址:http://www-eu.apache.org/dist/hive/hive-1.2.1/
6)mysql 5.5.54
7)weave1.9.3
地址:https://www.weave.works/docs/net/latest/installing-weave/
1.安装
1)docker 安装
apt-get install -y curl
curl -sSL https://get.docker.com/|sh
usermod -aG docker $(whoami)
2)运行ubuntu14.04镜像
docker run -it -h master ubuntu:14.04
3)安装jdk1.8
docker cp /jdk-8u74-linux-x64.gz containerid:/home/ubuntu/jdk-8u74-linux-x64.gz
tar -zxvf jdk-8u74-linux-x64.gz
3.1)配置环境变量
vim /etc/profile
export JAVA_HOME=/home/ubuntu/jdk1.8.0_74
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
3.2)jdk测试
source /etc/profile
java -version
显示以下则配置正确
Javaversion "1.8.0_74"Java(TM) SE Runtime Environment (build 1.8.0_74-b02)
Java HotSpot(TM) 64-Bit Server VM (build 25.74-b02, mixed mode)
4)hadoop2.7.3安装
docker cp /hadoop-2.7.3-src.tar.gz containerid:/home/ubuntu/hadoop-2.7.3-src.tar.gz
tar -zxvf hadoop-2.7.3-src.tar.gz
4.1)环境变量配置
vim /etc/profile
export HADOOP_HOME=/soft/apache/hadoop/hadoop-2.7.3
export HADOOP_CONFIG_HOME=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source /etc/profile
4.2)hosts文件
vim /etc/host-tmp
添加以下:
127.0.0.1 localhost
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2 master
172.17.0.3 slaver1
172.17.0.4 slaver2
保存后
vim /init.sh
添加以下:
#!/bin/sh
rm /etc/hosts
cat /etc/host-tmp >> /etc/hosts
/etc/init.d/networking restart
4.3)ssh免密登录
参照:http://blog.csdn.net/ab198604/article/details/8250461
本文摘取该博文ssh免密登录设置部分
SSH主要通过RSA算法来产生公钥与私钥,在数据传输过程中对数据进行加密来保障数
据的安全性和可靠性,公钥部分是公共部分,网络上任一结点均可以访问,私钥主要用于对数据进行加密,以防他人盗取数据。总而言之,这是一种非对称算法,想要破解还是非常有难度的。Hadoop集群的各个结点之间需要进行数据的访问,被访问的结点对于访问用户结点的可靠性必须进行验证,hadoop采用的是ssh的方法通过密钥验证及数据加解密的方式进行远程安全登录操作,当然,如果hadoop对每个结点的访问均需要进行验证,其效率将会大大降低,所以才需要配置SSH免密码的方法直接远程连入被访问结点,这样将大大提高访问效率。
(1) 每个结点分别产生公私密钥。
键入命令:
以上命令是产生公私密钥,产生目录在用户主目录下的.ssh目录中,如下: