docker+ubuntu+ambari+HDP

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/papaaa/article/details/79978180

1.调研:

先明确几个概念:
    1). Ambari只能安装Hortonworks Data Platform,即Hortonworks的开源Hadoop,不支持Apach的Hadoop平台;
    2). 对于已经安装了Apach Hadoop或者其他Hadoop平台的,不能使用Ambari来管理;

    docker ubuntu14.04
    一台master
    两台client
    Ambari-2.5.2.0
    HDP 2.6.2
    Ambari-server
    Ambari-client

    Docker安装:
    必须安装docker CE:http://www.mamicode.com/info-detail-2129876.html
    sudo docker pull ubuntu:14.04

2.制作镜像:

换清华源

        apt-get update
        apt-get install vim
        apt-get install openssh-service
        apt-get install ntp

设置root密码,方便后续ssh免密码登录,密码统一设置为123:

        passwd root 
        123
        123
        vim /etc/ssh/sshd_config
        替换#PermitRootLogin without-password为PermitRootLogin yes
        修改默认端口222222

配置hosts文件

        vim /etc/hosts  
        10.108.113.168  client1.gtensor.com 10.108.112.177  client2.gtensor.com10.108.114.228   master.gtensor.com 
        # stackc client1
        # stackd client2
        # stacke master

关闭防火墙

    #关闭防火墙。不关闭防火墙,会导致hadoop集群通信出现问题。不仅是server机器需要关闭防火墙,建议集群内每台机器也关闭防火墙,在自动化安装过程中,某些端口被占用导致它们通信出现问题,结果最后证明是防火墙的问题。
    # 在容器中部署docker服务,而docker服务又会使用到iptables,因此在启动容器时,也会同时启动容器内的iptables。但iptables必须工作在容器的privileged模式下,否则就会如上报错。如果不是以--net=host的方式进入docker没可能会出现关闭防火墙异常
        apt-get install ufw
        ufw status
        ufw disable

关闭SElinux

    提示,先检查SElinux状态,若为关闭,则无需再次关闭

openssl更新可以先不用管

    # ubuntu14.04不升级出现错误
    openssl升级为2016版:https://blog.csdn.net/why101010/article/details/51954827
        3:获取最新版本
            wget http://www.openssl.org/source/openssl-1.0.1t.tar.gz
        4:解压缩
            tar -zxvf openssl-1.0.1t.tar.gz
        5:进入目录
        `这里写代码片`cd  openssl-1.0.1t
        6:编译安装
             ./config --prefix=/usr/local/ssl   
             make depend 
             make
             make install
        7:#修改历史的OpenSSL文件设置备份mv 
            mv /usr/bin/openssl /usr/bin/openssl.old
            mv /usr/include/openssl /usr/include/openssl.old
        8:#设置软连接使其使用新的OpenSSL版本 
                ln -s /usr/local/ssl/bin/openssl /usr/bin/openssl
                ln -s /usr/local/ssl/include/openssl /usr/include/openssl
        9:#更新动态链接库数据
                echo "/usr/local/ssl/lib" >> /etc/ld.so.confldconfig -v
            这里写代码片如果是 1.0.1t,说明你安装正确了

保存镜像

    再打开一个命令行窗口,保存镜像
    sudo docker commit 
    sudo docker tag f1f1ad34d048 ambari:v1.0重命名
    sudo docker save -o ambari_1.0.tar imagesID保存至本地
    通过scp拷贝至远程服务器
    sudo docker load -i ambari_1.0.tar载入镜像

可能用到的docker命令:

    sudo docker ps -a
    sudo docker kill imagesID   杀死docker进程
    sudo docker rm imagesID 删除docker进程

启动命令

    sudo docker run -itd  -h client1.gtensor.com --privileged=True --net=host --name="net_host-hdp-client1" -v /home:/home ambari-agent:v1.0 /bin/bash
    sudo docker run -itd  -h client2.gtensor.com --net=host --privileged=True --name="net_host-hdp-client2" -v /home:/home ambari-agent:v1.0 /bin/bash
    sudo docker run -itd  -h master.gtensor.com --net=host --privileged=True --name="net_host-hdp-server" -v /home:/home ambari-server:v1.0 /bin/bash
    sudo docker exec -it imagesID /bin/bash
    这里必须采用--net=host的方式启用docker,因为若是再用默认,则不同节点之间的端口不能通信,除非在启用的时候用-p参数指出。
    用--net=host模式,修改docker内部容器ssh的端口号为2222,因为ssh默认端口号为22,这个端口号被物理主机占用。

分别配置免密码ssh登录:

        ssh-keygen -t rsa

        ssh-copy-id -i /root/.ssh/id_rsa.pub root@client1.gtensor.com -p2222
        ssh-copy-id -i /root/.ssh/id_rsa.pub root@client2.gtensor.com -p2222
        ssh-copy-id -i /root/.ssh/id_rsa.pub root@master.gtensor.com -p2222
        测试:ssh -p2222 root@client2.gtensor.com

2.Ambari安装

2.2.Ambari Server安装

在线安装:
        参考文献:https://blog.csdn.net/ggz631047367/article/details/50491616
        1.wget -O /etc/apt/sources.list.d/ambari.list http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.5.2.0/ambari.list
        或者vim /etc/apt/sources.list.d/ambari.list,里面输入:#VERSION_NUMBER=2.5.2.0-298
        deb http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.5.2.0 Ambari main
        两个方法效果相同
        Ambari2.5.2下载链接:http://archive.apache.org/dist/ambari/ambari-2.5.2/
        注意:在后续步骤中AmbariServer会自动安装Ambari Agent到刚才指定的机器列表
        2.apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CADapt-get updateapt-get install ambari-server (download ambari-server deb)
        3.ambari-server setup (download java jdk)
        4.ambari-server start
        5.浏览器输入:http://master.gtensor.com:8080
        6.账号密码默认都是:admin

离线安装:

        1、下载Ambari文件,网址:https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.2.0/bk_ambari-installation/content/ambari_repositories.html
        2、用Python建立最简单的web服务器
        eg:
        mkdir web_server
        cd web_server
        vim aaa.txt(输入hello world!!作为测试)
        python3 -m http.server 2345
        浏览器访问:
        http://localhost:2345/aaa.txt(在浏览器输入这个网址就可以访问刚刚建立的aaa.txt,显示hello world!)
        将下载好的Ambari文件解压后,拷贝到web_server目录;
        在浏览器输入:http://localhost:2345/ambari测试是否能访问到;这个网址即为下一步的baseurl。
        Ambari: http://10.108.113.24:2345/ambari/ubuntu14/
        HDP: http://10.108.113.24:2345/HDP/ubuntu14/
        HDP-UTILS: http://10.108.113.24:2345/HDP-UTILS-1.1.0.21/repos/ubuntu14/
        3、配置
                vim /etc/apt/source.list.d/ambari.list
                输入内容:deb http://10.108.113.24:2345/ambari/ubuntu14/ Ambari main

                然后添加秘钥:apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
                这一步参考官网:https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.2.0/bk_ambari-installation/content/download_the_ambari_repo_ubuntu14.html
                这一步需要注意,如果为内网,需要配置代理,用如下命令:
                注意:这一条命令在所有节点上都要执行
                apt-key adv --keyserver-options http-proxy="http://192.168.0.1:8001" --keyserver hkp://keyserver.ubuntu.com:80 --recv B9733A7A07513CAD
                apt-key adv --keyserver-options http-proxy="http://ip:8001" --keyserver hkp://keyserver.ubuntu.com:80 --recv B9733A7A07513CAD
        4、验证配置是否成功

            输入:
                apt-get update
                apt-cache showpkg ambari-server
                apt-cache showpkg ambari-agent
                apt-cache showpkg ambari-metrics-assembly
                如果没有报错,则配置成功
        5、安装ambari-agent

            ambari-agent不需要自己手动安装,在后面的步骤中,master会在验证ssh之后,在节点上安装,这一步不需要联网!!

        6、安装ambari-server

            在主节点上执行:
                apt-get update
                apt-get install ambari-server
            在线配置ambari-server:
                ambari-server setup
            ###############
            注意:自己部署JDK有风险
            如果出现错误:_ssl.c:510: EOF occurred in violation of protocol
            则说明是JDK的问题,请使用ambari自己下载的JDK

            离线配置ambari-server:
            其中,ambari-server setup是需要联网,下载java JDK的。如果为内网,可以手动下载安装JDK;
            JDK安装参考链接:https://blog.csdn.net/zht741322694/article/details/78960174
            配置完环境变量之后 source ~/.bashrc,然后测试:   java -version
            # jdk1.8.0_171
            /usr/jdk64/jdk1.8.0_112
            ###############

            ambari-server setup

            1).遇到Customize user account for ambari-server daemon选择n,这样ambari就会在root下执行。 
            接下来需要配置JDK,将下载好的JDK解压到/opt/目录下
            sudo tar -xvzf jdk-8u112-linux-x64.tar.gz -C /optsudo mv /opt/jdk-* /opt/jdk

            2).在配置ambari的JDK的时候,选择3,输入JAVA_HOME为/opt/jdk,其他的一直回车就好了。 
            启动ambari-server
            sudo ambari-server start

            在浏览器中,输入http://master.hadoop:8080开始安装,账号和密码为admin。
deb http://10.108.113.24:2345/ubuntu/ trusty main restricted universe multiverse 
deb http://10.108.113.24:2345/ubuntu/ trusty-security main restricted universe multiverse 
deb http://10.108.113.24:2345/ubuntu/ trusty-updates main restricted universe multiverse 
deb http://10.108.113.24:2345/ubuntu/ trusty-backports main restricted universe multiverse 
deb http://10.108.113.24:2345/ubuntu/ trusty-proposed main restricted universe multiverse

3.Ambari界面下HDP的安装

1.在线安装

在线安装较为简单,参考官网链接:https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.2.0/bk_ambari-installation/content/hdp_start_the_ambari_server.html

2.离线安装

问题记录:ERROR 2018-07-04 07:02:56,804 NetUtil.py:96 - [Errno 8] _ssl.c:510: EOF occurred in violation of protocolERROR 2018-07-04 07:02:56,804 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions. Refer to: https://bugzilla.redhat.com/show_bug.cgi?id=1022468 for more details.

问题原因:openssl版本太低,需要升级;
操作:
参考链接:https://www.cnblogs.com/findumars/p/6278906.html
查看openssl版本:openssl version
显示为2014版,则需要升级到2016版;
在终端使用wget下载最新没有漏洞的版本

wget https://www.openssl.org/source/openssl-1.1.0c.tar.gz
tar xvf openssl-1.1.0c.tar.gz
cd openssl-1.1.0c.tar.gz 
./config
apt-get install zlib1g-dev
make clean
make -j4
make install

这里写图片描述
这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

保存镜像

当运行好以后,启动服务,保存镜像。
需要用到docker commit命令等!

分布式环境启动脚本:

当机房断电后,或者其它因素导致需要重启时,壳执行下面脚本,快速启动;

以基础镜像v2版进行使用为例

基础镜像分为两个镜像server和 client版
    1) 镜像导入
        在master节点导入server镜像
        在每个client节点导入client镜像
        查看docker images 是否有hdp-server hdp-client镜像

    2) 镜像启动配置

    Server启动脚本(新建容器)
    sudo docker stop ambari-hdp-server
    sudo docker rm ambari-hdp-server
    sudo docker run -itd  -h master.gtensor.com --privileged=True -v /home:/home --net=host --name="ambari-hdp-server" ambari-hdp-server:v1.0 bash
    sudo docker exec ambari-hdp-server service ssh start
    sudo docker exec ambari-hdp-server ln -sf /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime
    sudo docker exec ambari-hdp-server ntpd
    sudo docker exec -it ambari-hdp-server bash
    在docker里执行
    ambari-server restart
    ambari-agent restart
    ##################################
    Client 启动命令(新建容器)
    sudo docker stop ambari-hdp-agent
    sudo docker rm ambari-hdp-agent
    sudo docker run -itd  -h {与物理主机ip对应的hosts} --privileged=True -v /home:/home --net=host --name="ambari-hdp-agent" ambari-hdp-agent:v1.0 bash
    #sudo docker run -itd  -h client1.gtensor.com --privileged=True -v /home:/home --net=host --name="ambari-hdp-agent" ambari-hdp-agent:v1.0 bash
    #sudo docker run -itd  -h client2.gtensor.com --privileged=True -v /home:/home --net=host --name="ambari-hdp-agent" ambari-hdp-agent:v1.0 bash
    sudo docker exec ambari-hdp-agent service ssh start
    sudo docker exec ambari-hdp-agent ln -sf /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime
    sudo docker exec ambari-hdp-agent  ntpd
    sudo docker exec -it ambari-hdp-agent  bash
    在docker里执行
    ambari-agent restart
    测试1: 查看系统时间
    启动后查看docker内系统时间是否正确 不正确自行调整时间
    测试2: 查看免密登陆
    分别
    ssh master.gtensor.com
    ssh client1.gtensor.com
    ssh client2.gtensor.com
    查看是否需要密码

警告: 容器创建脚本只需要执行一次,再执行会把原有容器删除
阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页