hadoop2.7.3完全分布式安装-docker-hive1.2.1-hiveserver2-weave1.9.3

0.环境介绍：

１）ubuntu14.04 docker镜像

地址：https://github.com/gaojunhao/ubuntu14.04

2)hadoop2.7.3

地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz

3)JDK1.8

这里下载的是jdk-8u74-Linux-x64.gz

地址：http://www.Oracle.com/technetwork/Java/javase/downloads/jdk8-downloads-2133151.html

4)docker 17.03.0-ce for ubuntu

地址：https://store.docker.com/editions/community/docker-ce-server-ubuntu?tab=description

5)hive1.2.1

地址：http://www-eu.apache.org/dist/hive/hive-1.2.1/

6)mysql 5.5.54

7)weave1.9.3

地址：https://www.weave.works/docs/net/latest/installing-weave/

1.安装

1)docker 安装

apt-get install -y curl
curl -sSL https://get.docker.com/|sh
usermod -aG docker $(whoami)

2)运行ubuntu14.04镜像

docker run -it -h master ubuntu:14.04

3)安装jdk1.8

docker cp /jdk-8u74-linux-x64.gz containerid:/home/ubuntu/jdk-8u74-linux-x64.gz

tar -zxvf jdk-8u74-linux-x64.gz

3.1)配置环境变量

vim /etc/profile

export JAVA_HOME=/home/ubuntu/jdk1.8.0_74
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

3.2)jdk测试

source /etc/profile

java -version

显示以下则配置正确

Javaversion "1.8.0_74"
Java(TM) SE Runtime Environment (build 1.8.0_74-b02)
Java HotSpot(TM) 64-Bit Server VM (build 25.74-b02, mixed mode)

4)hadoop2.7.3安装

docker cp /hadoop-2.7.3-src.tar.gz containerid:/home/ubuntu/hadoop-2.7.3-src.tar.gz

tar -zxvf hadoop-2.7.3-src.tar.gz

4.1)环境变量配置

vim /etc/profile

export HADOOP_HOME=/soft/apache/hadoop/hadoop-2.7.3
export HADOOP_CONFIG_HOME=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

source /etc/profile

4.2)hosts文件

vim /etc/host-tmp

添加以下:

127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2        master
172.17.0.3        slaver1
172.17.0.4        slaver2

保存后

vim /init.sh

添加以下:

#!/bin/sh
rm /etc/hosts
cat /etc/host-tmp >> /etc/hosts
/etc/init.d/networking restart

4.3)ssh免密登录

参照：http://blog.csdn.net/ab198604/article/details/8250461

本文摘取该博文ssh免密登录设置部分

SSH主要通过RSA算法来产生公钥与私钥，在数据传输过程中对数据进行加密来保障数

据的安全性和可靠性，公钥部分是公共部分，网络上任一结点均可以访问，私钥主要用于对数据进行加密，以防他人盗取数据。总而言之，这是一种非对称算法，想要破解还是非常有难度的。Hadoop集群的各个结点之间需要进行数据的访问，被访问的结点对于访问用户结点的可靠性必须进行验证，hadoop采用的是ssh的方法通过密钥验证及数据加解密的方式进行远程安全登录操作，当然，如果hadoop对每个结点的访问均需要进行验证，其效率将会大大降低，所以才需要配置SSH免密码的方法直接远程连入被访问结点，这样将大大提高访问效率。

(1)     每个结点分别产生公私密钥。

键入命令：

以上命令是产生公私密钥，产生目录在用户主目录下的.ssh目录中，如下：