docker + ambari(hortonworks ) 快速搭建hadoop 环境

本文介绍了如何利用Docker和Ambari( Hortonworks开发的HDP管理工具)快速搭建Hadoop集群。通过创建自定义Docker镜像,配置Ambari Server和Agent,以及在容器中模拟集群节点,简化了安装过程。文章详细阐述了每个步骤,包括Ambari的架构、Docker基础、启动容器、配置集群以及遇到的问题和解决办法。Ambari提供了便捷的集群管理和配置服务,而Docker则带来了快速部署的优势。
摘要由CSDN通过智能技术生成
最近在搭建hadoop 环境的时候,最初尝试去写一些脚本去安装包以及修改配置,后来发现源软件https://ambari.apache.org/可以管理部署监控hadoop集群, 于是尝试用docker安装试验。
ambaris: 是 hortonworks  开发的一个自动 部署+管理+监控  HDP(Hortonworks Data Platform, http://hortonworks.com/hdp/,由hadoop生态环境中的一些开源软件组成)的开源软件。与之相对应的有cloudera manager, cloudera 发展时间更长,网上能搜到的资料更多, 但是其开源性好像没有hortonworks 好。
docker: 现在比较热门的一个虚拟运行环境,我的理解是其使用了cgroup, namespace, aufs 等实现了应用程序的运行环境隔离。


首先贴上Ambari 的架构,如下图, Ambari  Server 与agent 交互从而 管理集群节点,这里agent的注册可以是被动,也就是server 通过ssh连接到agent,然后启动agent 去注册,所以需要两个配置, agent上需要能够ssh 私钥 无密码登陆, 而且agent上要配置server的地址。 
 

因为是通过docker安装,所以宿主机环境我使用了ubuntu 14.04(24G 内存, 4核8线程)

1. 创建一个基础image

这里使用了官方的ubuntu14 的docker 镜像为基础 创建所需要的镜像,这里我创建了两个基础镜
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值