Ubuntu16安装基于Ambari的HDP集群

最新推荐文章于 2024-08-22 16:30:09 发布

Ta-ttoo

最新推荐文章于 2024-08-22 16:30:09 发布

阅读量1.1k

点赞数 1

分类专栏：工具类

本文链接：https://blog.csdn.net/qq_39429714/article/details/89137239

版权

本文详细介绍了在Ubuntu16系统上如何安装基于Ambari的HDP集群，包括环境配置、安装mysql、配置Ambari、数据库设置以及启动Ambari的过程，并提到了安装过程中可能遇到的问题和解决方案。

摘要由CSDN通过智能技术生成

Ubuntu16安装基于Ambari的HDP集群

安装环境

安装环境

两台干净的Ubuntu16系统分别作为主机和从节点，系统间网络连通，内存最好大于4G；

集群基础配置

1.主机命名 master.example.com node1.example.com node2.example.com(生产环境下建议使用域名服务器进行解析)
三步操作:1 )hostname 主机名 2)修改/etc/hosts 文件对应DNS解析 3)修改/etc/hostname文件最后使用hostname hostname -A对结果进行检测,要求与设置值一致
2.配置主机ssh免密登录note2。ssh相关配置 （最好使用root用户，普通用户可能会失败）
3.安装ntp ： apt-get install -y ntp
4.禁用防火墙 sudo ufw status
5.禁用Transparent Huge Page（禁用大内存页面可以提升MR效率）echo never > /sys/kernel/mm/transparent_hugepage/enabled

    首先查看机器硬件配置信息,包括内存及CPU配置信息,根据配置分配不同的角色:

        cat /proc/meminfo |grep MemTotal 

        cat /proc/cpuinfo |grep “model name” && cat /proc/cpuinfo |grep “physical id”

准备安装包

其中要安装的组件有JDK-1.8 确认一下Python版本为2.7 然后下载Ambari2.7.3对应的组件,其中包括:ambari-2.7.3.0 HDP HDP-UTILS HDP-GPL

首先是Ambari安装包位置:
    选择下载最新版,这样子在版本控制方面选择余地更大
    主页:
        https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/ambari_repositories.html
        https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/hdp_31_repositories.html
    下载链接:
        ambari-2.7.3.0  http://public-repo-1.hortonworks.com/ambari/ubuntu16/2.x/updates/2.7.3.0/ambari-2.7.3.0-ubuntu16.tar.gz
        HDP  http://public-repo-1.hortonworks.com/HDP/ubuntu16/3.x/updates/3.1.0.0/HDP-3.1.0.0-ubuntu16-deb.tar.gz
        HDP-UTILS  http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/ubuntu16/HDP-UTILS-1.1.0.22-ubuntu16.tar.gz
        HDP-GPL  http://public-repo-1.hortonworks.com/HDP-GPL/ubuntu16/3.x/updates/3.1.0.0/HDP-GPL-3.1.0.0-ubuntu16-gpl.tar.gz

配置环境

需要自己配置本地源 : mkdir -p /var/www/ambari 将上述安装包解压到该目录下,通过Python服务器在该目录启动访问链接:( 以静默的方式启动Python服务器 nohup python -m SimpleHTTPServer 1>out.log 2>&1 &)

mkdir -p /var/www/ambari
　　　　ls /var/www/ambari
　　　　ambari HDP HDP-GPL HDP-UTILS

配置Ubuntu启动源

 		    cd  /etc/apt/sources.list.d
            vi  /etc/apt/sources.lost.d/ambari.list
                deb http://10.1.51.17:8000/ambari/ubuntu16/2.7.3.0-139/ Ambari main
            vi  /etc/apt/sources.list.d/ambari-hdp.list