中科院EML数据挖掘平台-修改底层从Ubuntu到Centos7.2过程

中科院EML数据挖掘平台-修改底层从Ubuntu到Centos7.2过程

1： 搜索centos7.2

2：下载centos7.2，输入命令

3：输入docker images查看镜像

4：运行镜像：docker run -idt docker.io/13652604711/centos7.2-ssh /usr/sbin/init

5：运行容器：docker exec -it 86c269 /bin/bash

查看容器版本: cat /etc/redhat-release

6 :在容器安装ssh客户端: yum -y install openssh-clients

7: 在容器内安装which服务：yum install which

8： 在容器内开启sshd端口服务:systemctl start sshd

9：在容器内查看sshd服务状态：systemctl status sshd

10: 退出容器：exit

11: 查看容器运行后台：docker ps

12：关掉容器服务：docker stop 86c26

13：提交容器成为镜像：docker commit -m “centos7.2” -a “lyf” 86c26 centos7.2
其中86c26为容器ID,centos7.2为镜像名字

14：查看新生成镜像：docker images

15: 下载eml_mysql:1.2.0镜像:docker pull docker.io/nkxujun/mysql_eml:1.2.0

16: 下载EML1.2.0版本并放置到linux服务器，本文档放在/root/目录下。下载地址为https://pan.baidu.com/s/1bpMwYSJ#list/path=%2FEML

17： 解压EML_1.2.0.zip文件：unzip EML_1.2.0.zip。如果服务器没有zip工具可使用命令：yum install zip unzip安装

18：进入EML的Enviroment目录：cd /root/EML_1.2.0/EML/Environment

19:进入cluster目录：cd cluster

20：修改Dockerfile文件：vim Dockerfile

21：使用#注释掉FROM nkxujun/ubuntu_eml:1.2.0和RUN /etc/init.d/ssh start并在FROM nkxujun/ubuntu_eml:1.2.0加入语句FROM centos7.2:latest

22:修改cluster目录下的run_containers.sh文件:
新建数据存储目录：/data

vim run_containers.sh

23:修改数据卷映射和容器入口命令。


修改完后的文件:

24: 构建cluster集群镜像：sh build.sh

25: 查看镜像cluster：docker images

26：搭建docker网路：sh build_network.sh

27: 运行hadoop集群容器：sh run_containers.sh

28：查看运行容器：docker ps

29：验证各个节点的sshd服务和ssh服务:
docker exec -it hadoop-master /bin/bash
systemctl status sshd
ll ~/.ssh/
chmod 600 ~/.ssh/config
ssh hadoop-slave1

30：退出来，启动mysql服务

31：进入hadoop-master启动tensorflow配置和集群配置
docker exec –it Hadoop-master /bin/bash
sh config-tensorflow.sh
sh start-hadoop.sh
sh /root/run-wordcount.sh

32:查看集群运行状态：jps

33: 查看集群运行转台：http://ip:50070(ip是服务器ip地址)

34:启动oozied服务: sh start-oozie.sh

34：登陆EML平台: http://hadoop-master:18080/EMLStudio
登陆账号：bdaict@hotmail.com
登陆密码：bdaict