基于Docker快速搭建Hadoop集群

原创 2017年01月02日 22:16:48

### 1. 引言

开发环境使用Ubuntu Kylin16.04的系统,通过vmware-install.pl命令执行安装一直显示安装成功,但是却无法使用。最后通过使用apt-get找到一个安装包成功的解决了问题。命令如下,执行成功后,需要重新启动一下:

apt-get install open-vm-tools-desktop fuse

reboot

安装好vmware-tools之后就可以实现屏幕分辨率的自适应和文件的自由拖动。


### 2. docker安装集群

集群构建主要参考的是Github上面的[hadoop-cluster-docker](https://github.com/kiwenlau/hadoop-cluster-docker)


简单说步骤主要分为:

1. 下载Docker镜像

> sudo docker pull kiwenlau/hadoop:1.0


 2. 下载GitHub仓库

> git clone https://github.com/kiwenlau/hadoop-cluster-docker

3. 创建Hadoop网络

> sudo docker network create --driver=bridge hadoop

4. 运行Docker容器

> cd hadoop-cluster-docker
> ./start-container.sh

运行结果

start hadoop-master container...
start hadoop-slave1 container...
start hadoop-slave2 container...
root@hadoop-master:~#
看到@hadoop-master说明已经进入到hadoop-master的容器,此时可以进行操作
如果不小心退出docker容器,可以根据以下命令重新进入容器
> sudo docker attach hadoop-master 


版权声明:本文为博主原创文章,未经博主允许不得转载。

docker快速搭建hadoop集群

学习Hadoop集群环境搭建是Hadoop入门必经之路。搭建分布式集群通常有两个办法: 要么找多台机器来部署(常常找不到机器)或者在本地开多个虚拟机(开销很大,对宿主机器性能要求高,光是安装多个虚拟...

hadoop集群的搭建脚本及构思(N):一个简化的Hadoop+Spark on Yarn集群快速搭建

为了一篇正在准备的用spark做文本分析的博文,快速搭建了一个4节点的Spark on Yarn+Hadoop的集群。算是给这个系列的一点简单小结。因为资源的限制,HA的hadoop的集群搭建还要在等...

基于Docker搭建Hadoop集群之升级版

一. 项目介绍 将Hadoop打包到Docker镜像中,就可以快速地在单个机器上搭建Hadoop集群,这样可以方便新手测试和学习。 如下图所示,Hadoop的master和slave分...

基于Docker搭建Hadoop集群之升级版

摘要: kiwenlau/hadoop-cluster-docker是去年参加Docker巨好玩比赛开发的,得了二等奖并赢了一块苹果手表,目前这个项目已经在GitHub上获得了236个Star,D...

使用Docker搭建hadoop集群

使用Docker搭建hadoop集群 参考文档:http://blog.mymusise.com/?p=150 1.准备工作1.1下载软件下载一些相关的文件: jdk-8u60-linux-x...
  • wwwlxz
  • wwwlxz
  • 2016年02月23日 11:46
  • 957

【转】使用Docker搭建hadoop集群

转载一个大神的blog,其实我是想转载另一篇的,但是不小心 改完了,才发现 转的是 准备看的 这篇, 好吧,不严谨了。 反正都要 转,先转了。这里附上大神的博客地址刚开始搭建Hadoop集群的时候,...

使用docker搭建弹性hadoop集群

一.ubuntu环境(ubuntu server 16.04): 1.安装docker: apt install docker-io 2.在docker容器中安装ubuntu环境: 2.1 修改...

使用Docker搭建hadoop集群

刚开始搭建hadoop集群的时候,使用的是VMware创建的虚拟机。结果卡到心态爆炸。。。 今天尝试使用Docker搭建hadoop集群,发现是如此的好用快捷,也比使用VMware简单。 在这里记...

基于docker搭建hadoop集群环境中遇到的一些问题

基于docker搭建hadoop集群环境中遇到的一些问题
  • rznice
  • rznice
  • 2016年08月16日 13:27
  • 1062

在基于docker的Hadoop集群上搭建Spark

Install Hadoop Clustering 1.      Run a docker container within boot2docker vm Docker run –it –v /c/...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:基于Docker快速搭建Hadoop集群
举报原因:
原因补充:

(最多只允许输入30个字)