Windows+Docker+Hadoop的部署完整教程（一）基础依赖环境安装

说明

本文搭建的时hadoop2.7.5分布式系统，一个master，二个slave
搭配jdk版本为jdk1.8
所有安装包都在博主的网盘上，自行保存
链接：https://pan.baidu.com/s/1TcKCEEcxpgtVWu26iwhaRw
提取码：naad

1、windows下Docker安装

1. 下载DockerToolbox-18.03.0-ce.exe，安装包下载地址点击其中ce为免费版，ee为付费版。

（注：笔者这里是Win10家庭版系统，无法开启Hype-V服务，具体不多做解释，若不是家庭版系统，可按此链接进行安装Docker for Windows。）
2. 双击运行安装文件，按照默认选项进行安装，其中安装路径自己根据喜好选择。安装完成后桌面会出现这三个图标。

3. 安装完成后双击Docker Quickstart Terminal图标（没有报错跳过这一步！！！），此时会提示
   找不到相应的启动程序。这是因为默认的Git|bash命令的路径与本地安装的Git路径不一致。我们只需将默认Git路径修改为本地Git的安装路径即可。
4. docker运行 docker-machine create 命令第一次启动会去github.com下载一个最新的boot2docker.iso 镜像。国内下载会很慢。其实在DockerToolbox的安装目录下已经存在boot2docker.iso 镜像了，只需要将该ios文件，拷贝至：C:\Users\Admin\.docker\machine\cache目录下即可
5. 最后重新启动我们的Docker Quickstart Terminal ，出现如下鲸鱼代表安装成功！

2、Docker下基础环境配置

1. 将ubuntu镜像拉到本地
   首先登陆docker（如果没有docker账户的先去官网注册账户，点击此链接）

docker login

登陆成功之后将ubuntu镜像拉至本地：

docker pull ubuntu

（此过程有时候会比较漫长，耐心等待，没报错就是拉取成功）。
2. 然后我们用命令看一下本地镜像：

docker images

最下边的红框内”ubuntu“就是刚刚我们拉取下来的。
3. 确认好后，下一步就可以启动一个容器啦~

docker run -it IMAGE_ID bash

关于具体的参数解释见此链接，很详细！

看到这个熟悉的界面了吧（此处要注意，系统进入时就默认有管理员权限啦，不需要繁琐的sudo啦）

3、安装ssh（准备工作）

接着上边的界面，就从更新apt源开始吧！

apt-get update

然后安装vim（ubuntu下的文本编辑器）

apt-get install vim

接下来我们安装ssh服务，保证主机与从机可以远程传输。命令如下：

apt-get install ssh

安装完成后，运行/etc/init.d/ssh start开启ssh服务

配置ssh免密登陆

ssh-keygen -t rsa #一直按回车键即可
cd ~/.ssh
cat id_rsa.pub >> authorized_keys

配置完成之后，ssh localhost登陆本机，出现如下界面成功。

运行exit命令登出远程控制。

4、JDK安装（准备工作）

下边开始安装jdk了（这里需要提醒大家，不同版本的hadoop可能兼容的jdk版本不同，此外最好不要直接用apt-get去安装jdk，重要的事情说三遍！！！）
安装jdk之前首先把压缩包从windows拷贝到docker容器里，docker启容器的时候可以通过添加-v参数来共享目录，可是博主一直没搞成功过，所以用笨方法啦，也非常实用
首先将我们下载好的目录放在我们Docker Toolbox的安装目录下，这里博主新建了一个build文件夹，强烈建议这时候把hadoop-2.7.5的压缩包也拷贝进来！！！

exit 退出当前容器，然后

docker cp ./build/jdk-8u251-linux-x64.tar.gz CONTAINER_ID:/home/

上边命令中的CONTAINER ID 就是 我们的容器ID，见下图，每台机子都不一样（如法炮制把hadoop压缩包也传进来）

没有输出就代表已经成功传输到容器。
下边就开始重新进入容器继续安装啦！

docker start CONTAINER_ID

docker exec -it CONTAINER_ID bash

然后ls一下刚才我们存放的目录（/home）

可以看到文件已经在这里了！
开始解压安装

tar -zxvf /home/jdk-8u251-linux-x64.tar.gz -C /usr/local

cd /usr/local
ls

已经安装成功！下边关键一步配置环境变量。

vim ~/.bashrc

在文件末尾追加如下内容：

#set jdk_env
export JAVA_HOME=/usr/local/jdk1.8.0_251  ## 这里要注意目录要换成自己解压的jdk 目录
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH 

:wq保存退出。在运行下命令生效环境变量。

source ~/.bashrc

最后运行一下看看结果吧！

看到此界面代表JDK已经安装成功！
JDK已经安装成功，下边我们可以保存镜像，以备以后的使用，首先exit 登出容器，

docker commit CONTAINER_ID ubuntu/jdkinstalled

然后在运行docker images就可以看到

这是博主第一次写博客，如有表述不当，还请各位见谅，下篇会继续介绍hadoop分布式系统的安装。请大家有意见一定及时提出反馈，如有转载请引用，谢谢大家！

下篇点这里