使用docker搭建大数据环境

最新推荐文章于 2024-04-27 09:47:33 发布
最新推荐文章于 2024-04-27 09:47:33 发布
阅读量801 收藏 1
点赞数
分类专栏： 大数据学习笔记 文章标签： hadoop docker spark hbase 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huiruwei1020/article/details/115562655
版权

文章目录

Instruction

使用docker进行构建单机伪分布式hadoop环境,搭建的docker-images使用的软件版本如下：

  • hadoop版本：2.7.7
  • spark版本：3.1.1
  • jdk版本：1.8
  • hive版本：待添加
  • Hbase版本：1.4.13

ps：

1. 请先确保你的 git 、docker 和 make 是可用的。

2. 镜像内的用户密码为：qwe

使用方法

  1. clone本仓库到你的本地

git clone git@github.com:Liuyang0001/docker-hadoop.git

  1. 使用make进行docker镜像下载

进到仓库目录下：

cd docker-hadoop
最低0.47元/天 解锁文章
文艺圈不知名刘先生
关注
专栏目录
模块A：大数据平台搭建（容器环境）
howard2005的专栏
03-18 2452
在ubuntu上安装docker、搭建分布式hadoop、搭建Spark on Yarn集群，搭建Flink on Yarn集群
Docker 搭建的大数据环境
搬砖的鱼的博客
08-20 2717
Docker 搭建的大数据环境，一键启停 千锋python学院 2020-01-14 14:47:09 代码未动，环境先行 我是一个Docker爱好者。我在学习大数据相关技术的时候，想到了一个点子： 用docker搭建一个大数据开发环境！ 这么做有什么好处呢 ？ 我只要有了这个docker-compose.yml 容器编排描述文件，我就可以在任何一个安装docker 软件的机器里，启动我的大数据环境。 一劳永逸的事情，不正是我们程序员每天都在做并且是努力的目标吗？ 如何做？ 找遍了国内的博客和帖子，都没有合
docker安装大数据环境(centos 7)
只想买把蝴蝶knife
03-03 1865
最近在学推荐系统，但是在学推荐系统的时候需要自己搭建很多部件比如mongodb,hadoop,redis, 自己本来在windows上搭了个遍，但是后面想找找能不能在服务器上搭建一套，刚好结合之前学过的docker， 找到了一个非常好用的github地址。 https://github.com/ven2day/Bigdata-docker-sandbox 在这上面有一套完整的系统，多个框架在不同的端口。 步骤非常简单 git clone https://github.com/ven2day/Bigdata
Ubuntu16.04使用docker搭建大数据环境
someby的博客
09-12 517
参考官方官方文档 一、卸载旧版本的docker 较旧版本的Docker被称为docker或docker-engine。如果已安装，请卸载它们： $ sudo apt-get remove docker docker-engine docker.io 二、安装Docker CE 使用存储库安装 在新主机上首次安装Docker CE之前，需要设置Docker存...
使用Docker搭建大数据Hadoop环境
记录日常开发过程中遇到的一些问题
03-11 2994
使用Docker搭建大数据Hadoop环境 一、安装Docker 原文地址：https://www.imooc.com/article/48676、http://www.runoob.com/docker/centos-docker-install.html 这是本人第一次用Docker搭建大数据Hadoop环境的步骤，记录在这里： 1. 对于CenterOS7系统，内置Docker，可以...
Docker搭建大数据平台CDH
10-27
本文档将指导您使用 Docker 搭建大数据平台 CDH，包括安装 Docker、导入镜像、启动容器、配置 HDFS 节点等步骤。 安装 Docker 在开始之前，需要先安装 Docker。在 CentOS 系统中，可以使用以下命令来安装 Docker：...
bigdata_docker：大数据生态系统Docker
02-03
【描述】"bigdata_docker"项目可能是为了提供一个包含多种大数据组件的集成环境，比如MySQL、MongoDB、Spark、Presto、Hive、Hadoop、Jupyter Notebook、HBase、Zookeeper、Metabase、HDFS、Hue和NiFi。这些组件共同...
基于Docker的大数据平台搭建指南
本文档主要介绍了如何在大数据平台上搭建基础环境，特别是通过使用Docker技术来管理和部署相关的组件。以下将详细阐述在CentOS 7系统上安装和配置Docker，以及涉及到的一些关键工具和技术。 首先，**环境搭建**部分...
Docker方式部署大数据环境
smollcat的博客
07-16 984
Hadoop伪集群部署 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据
大数据平台环境搭建
m0_46635662的博客
03-10 6089
大数据平台环境搭建（最详细最全面最无脑）
使用 Docker 搭建离线数仓环境_docker数仓(1)
最新发布
2401_84170391的博客
04-27 878
p 2222:22。
从0开始，利用docker搭建一套大数据开发环境（一）
IronWring_Fly的博客
12-06 1095
天才第一步，雀氏纸尿裤。那么大数据第一步是什么呢？先搭建一套开发环境。 对于刚进入这个领域的同学来说，搭这套环境的过程可以学到很多东西，包括Linux的常用操作，如何设置配置文件，怎么使用linux的命令行，甚至，如果是在windows主机上使用虚拟机搭建环境的话，还能学到很多计算机网络等其他方面的基础知识。所以，亲手从0搭建一套大数据开发系统是非常有必要的。 但是呢，这个过程也是非常痛苦的，堪称新人入门的一道拦路虎，不少人的学习热情，就在这第一步被生生浇灭了。。。所以，为了再次照亮你心中最初的那道光，我开
Docker容器搭建大数据集群
qq_33202785的博客
10-23 3782
Docker容器搭建大数据集群，包含Hadoop,Mysql,Hive,Flume,Zookeeper,HBASE,SQOOP,Kafaka,Spark,Redis
Docker通过使用大数据可以成为强大的软件开发平台
大数据基础入门教程
03-03 468
在Docker上使用大数据可以为强大的软件开发程序和绝佳机会铺平道路。这是业界人士需要知道的事情。 大数据如今正在以巨大的方式改变着世界。大数据影响最大的领域之一是软件开发。 越来越多的DevOps平台正在使用新的数据分析和机器学习工具来提高性能，Docker平台是其中之一。 || Docker使用大数据在软件开发中的作用 越来越多的企业都对Docker产生了兴趣...
大数据 安装指南-----利用docker
诸葛子房的博客
07-15 828
为了避免繁琐的大数据环境安装。
docker搭建大数据集群
someby的博客
09-08 1484
从0开始使用Docker搭建Spark集群 https://www.jianshu.com/p/ee210190224f Docker下安装Hadoop和Spark集群 https://blog.csdn.net/havefun00/article/details/78933723 在Docker下搭建Spark+HDFS集群 https://blog.csdn.net/sinat_25...
基于Docker搭建大数据集群（一）Docker环境部署
程序员朱永胜
09-27 4898
本篇文章是基于Docker搭建大数据集群系列的开篇之作 主要内容 docker搭建 docker部署CentOS 容器免密钥通信 容器保存成镜像 docker镜像发布 环境 Linux 7.6 一、Docker安装 安装工具包 yum install -y yum-utils #安装工具包，缺少这些依赖将无法完成 设置远程仓库 yum-config-man...
利用docker搭建服务器集群并部署大数据生态软件
Axlsss的博客
11-21 3686
小而美！利用docker搭建服务器集群并部署大数据软件集群
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值