基于Docker快速搭建Hadoop集群

原创 2017年01月02日 22:16:48

### 1. 引言

开发环境使用Ubuntu Kylin16.04的系统,通过vmware-install.pl命令执行安装一直显示安装成功,但是却无法使用。最后通过使用apt-get找到一个安装包成功的解决了问题。命令如下,执行成功后,需要重新启动一下:

apt-get install open-vm-tools-desktop fuse

reboot

安装好vmware-tools之后就可以实现屏幕分辨率的自适应和文件的自由拖动。


### 2. docker安装集群

集群构建主要参考的是Github上面的[hadoop-cluster-docker](https://github.com/kiwenlau/hadoop-cluster-docker)


简单说步骤主要分为:

1. 下载Docker镜像

> sudo docker pull kiwenlau/hadoop:1.0


 2. 下载GitHub仓库

> git clone https://github.com/kiwenlau/hadoop-cluster-docker

3. 创建Hadoop网络

> sudo docker network create --driver=bridge hadoop

4. 运行Docker容器

> cd hadoop-cluster-docker
> ./start-container.sh

运行结果

start hadoop-master container...
start hadoop-slave1 container...
start hadoop-slave2 container...
root@hadoop-master:~#
看到@hadoop-master说明已经进入到hadoop-master的容器,此时可以进行操作
如果不小心退出docker容器,可以根据以下命令重新进入容器
> sudo docker attach hadoop-master 


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

hadoop集群的搭建脚本及构思(N):一个简化的Hadoop+Spark on Yarn集群快速搭建

为了一篇正在准备的用spark做文本分析的博文,快速搭建了一个4节点的Spark on Yarn+Hadoop的集群。算是给这个系列的一点简单小结。因为资源的限制,HA的hadoop的集群搭建还要在等...

使用Docker搭建hadoop集群

使用Docker搭建hadoop集群 参考文档:http://blog.mymusise.com/?p=150 1.准备工作1.1下载软件下载一些相关的文件: jdk-8u60-linux-x...

使用Docker搭建hadoop集群

刚开始搭建hadoop集群的时候,使用的是VMware创建的虚拟机。结果卡到心态爆炸。。。 今天尝试使用Docker搭建hadoop集群,发现是如此的好用快捷,也比使用VMware简单。 在这里记...

在基于docker的Hadoop集群上搭建Spark

Install Hadoop Clustering 1.      Run a docker container within boot2docker vm Docker run –it –v /c/...

使用docker搭建弹性hadoop集群

一.ubuntu环境(ubuntu server 16.04): 1.安装docker: apt install docker-io 2.在docker容器中安装ubuntu环境: 2.1 修改...

【转】使用Docker搭建hadoop集群

转载一个大神的blog,其实我是想转载另一篇的,但是不小心 改完了,才发现 转的是 准备看的 这篇, 好吧,不严谨了。 反正都要 转,先转了。这里附上大神的博客地址刚开始搭建Hadoop集群的时候,...

使用Docker Toolbox快速搭建3节点的shipyard集群

使用Docker Toolbox快速搭建3节点的shipyard集群。首先创建3台Docker虚拟机;然后按照官网的步骤,运行Shipyard相关容器;再将另外2台工作节点加入到Shipyard管理端...

快速搭建hadoop+hbase分布式集群

目录 目录 hadoop集群部署 zookeeper集群部署 HBase部署 结语hadoop集群部署1、 准备三台机器,如10.8.177.23,10.8.177.24,10.8.177.25 2...

Docker部署Hadoop集群

前几天写了文章“Hadoop 集群搭建”之后,一个朋友留言说希望介绍下如何使用Docker部署,这个建议很好,Docker不仅在生产环境威力巨大,对于我们在自己电脑中搭建学习实验环境更是非常便利 ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)