docker + ambari（hortonworks ）快速搭建hadoop 环境

最新推荐文章于 2024-08-23 07:58:18 发布

trumanz

最新推荐文章于 2024-08-23 07:58:18 发布

阅读量1.1w

点赞数

分类专栏： hadoop 文章标签： hadoop集群 hortonworks hadoop

本文链接：https://blog.csdn.net/trumanz/article/details/46492265

版权

本文介绍了如何利用Docker和Ambari（ Hortonworks开发的HDP管理工具）快速搭建Hadoop集群。通过创建自定义Docker镜像，配置Ambari Server和Agent，以及在容器中模拟集群节点，简化了安装过程。文章详细阐述了每个步骤，包括Ambari的架构、Docker基础、启动容器、配置集群以及遇到的问题和解决办法。Ambari提供了便捷的集群管理和配置服务，而Docker则带来了快速部署的优势。

摘要由CSDN通过智能技术生成

最近在搭建hadoop 环境的时候，最初尝试去写一些脚本去安装包以及修改配置，后来发现源软件https://ambari.apache.org/可以管理部署监控hadoop集群，于是尝试用docker安装试验。

ambaris: 是 hortonworks 开发的一个自动部署+管理+监控 HDP（Hortonworks Data Platform， http://hortonworks.com/hdp/，由hadoop生态环境中的一些开源软件组成）的开源软件。与之相对应的有cloudera manager， cloudera 发展时间更长，网上能搜到的资料更多，但是其开源性好像没有hortonworks 好。

docker：现在比较热门的一个虚拟运行环境，我的理解是其使用了cgroup, namespace, aufs 等实现了应用程序的运行环境隔离。

首先贴上Ambari 的架构，如下图， Ambari Server 与agent 交互从而管理集群节点，这里agent的注册可以是被动，也就是server 通过ssh连接到agent，然后启动agent 去注册，所以需要两个配置， agent上需要能够ssh 私钥无密码登陆，而且agent上要配置server的地址。