MacOS：Docker搭建Spark集群

最新推荐文章于 2023-04-10 02:07:28 发布
最新推荐文章于 2023-04-10 02:07:28 发布
阅读量556 收藏 2
点赞数
文章标签： 运维 大数据 git
原文链接：https://my.oschina.net/wubiaowpBlogShare/blog/3073860
版权

前言：Docker环境正常，docker-compose已安装

一、下载

git clone https://github.com/gettyimages/docker-spark.git

二、切换到下载项目目录下、使用docker-compose启动：docker-compose up

三、查看容器是否创建成功

四、浏览器访问http://localhost:8080

具体请参考：https://www.jianshu.com/p/e0865a2193cc

转载于:https://my.oschina.net/wubiaowpBlogShare/blog/3073860

chijiao8902
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
docker+centos7启动spark2.4.5+hadoop2.10.0集群 for macOS
xiaoQL520的博客
04-09 1406
一、制作镜像 1. centos 容器 # 下载centos镜像 docker pull centos # 创建一个容器 docker run --name centos -itd centos /bin/bash # 进入已启动的容器 docker attach centos 2.下载安装包 # 安装wget、ssh等基础服务 yum install -y net-tools ...
【大数据】mac M1 Docker配置spark环境集群
weixin_39348931的博客
12-01 707
在你喜欢的路径下新建 docker-test 文件夹, 在这里 open in terminal。
Mac OS下搭建Hadoop + Spark集群
aysk1112的博客
12-19 587
首先注意版本兼容问题！！！本文采用的是Scala 2.11.8 + Hadoop 2.7.5 + Spark 2.2.0 请在下载Spark时务必看清对应的Scala和Hadoop版本！ 一、配置JDK 1. 下载jdk http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads...
docker for mac 安装spark 2.2.0 + hadoop 2.8.0 集群
GOGO_YAO的博客
08-08 2902
1、简述 本文在mac上，使用docker搭建spark 2.2 + hadoop 2.8.1集群，实现spark on yarn的任务提交。 2、docker安装 下载docker for mac 17.06.0-ce-mac19，可通过以下任意一个途径下载： 官网下载：https://www.docker.com/docker-mac 百度网盘下载 链接: http://pa
Mac下搭建Spark开发环境
yjk13703623757的博客
09-15 2900
1. mac os环境搭建spark 2. Mac下安装Spark开发环境(Linux系统可参照)
Docker中运行macOS:Docker-OSX
03-03
推荐理由：一个让你在Docker中运行macOS操作系统的项目。通过仅需两条命令，用户可以在Docker容器中轻松启动一个macOS操作系统。这为开发者提供了一种简单而刺激的方式，让他们可以在非苹果硬件上体验macOS，从而...
compose-etcd:docker compose etcd集群
05-12
安装了MacOS的Docker需要满足以下条件 使用以下命令更新主机文件： 172.16.238.11 etcd-0 172.16.238.12 etcd-1 172.16.238.13 etcd-2 添加别名 $ sudo ifconfig lo0 alias 172.16.238.11 $ sudo ifconfig lo0 ...
drun：docker在pwd上运行
02-04
标题 "drun：docker在pwd上运行" 指的是一个工具或命令行接口（CLI）称为 `drun`，它允许用户在当前工作目录（pwd，即Print Working Directory的缩写）中直接运行Docker容器。这个工具可能是用Node.js开发的，因为它...
进阶学 ElasticSearch ：docker、ubuntu、mac安装指南，分析插件：同义词、拼音、分词器，搜索进阶案例
最新发布
07-01
进阶学 ElasticSearch ：docker、ubuntu、mac安装指南，分析插件：同义词、拼音、分词器，搜索进阶案例
docktop:Docker clictool
05-09
【标题】Docktop：Docker命令行工具增强 在当今的云计算和DevOps环境中，Docker作为容器化技术的领头羊，其命令行工具（Docker CLI）是开发者和系统管理员日常操作容器的重要手段。Docktop是一款针对Docker CLI的...
docker内搭建spark分布式集群（python）
superce的博客
06-29 719
mac 环境下 hadoop与spark环境搭建
shanxishiwenli的专栏
08-22 244
环境搭建 想必之前搭建Hadoop环境的Windows系统的相对繁琐步骤，Mac下显得简单不少。 虽然我们需要搭建的是Spark环境，但是因为Spark依赖了Hadoop的HDFS以及YARN计算框架，当然还有类似软件包管理软件。 安装前必备 操作系统：Mac OS X JDK：1.8.0_192 命令终端：iTerm2（Mac自带的命令终端也一样） 软件包管理工具：brew 安装Hado...
Mac系统下使用VMware Fusion12.1.0安装Ubuntu16.04虚拟机，并搭建Hadoop+Hive+HBase+Spark伪分布集群
sddfnsff的博客
02-28 2222
@Mac系统下安装Ubuntu16.04并安装Hadoop+Hive+HBase+Spark伪分布集群 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在
基于Docker快速运行Spark
Keep Learning
04-10 600
本文是基于macos电脑，docker 20.10.6。已经搭建好docker环境。3.运行Spark命令。
用docker搭建spark集群
wowdd1
12-12 1万+
最近在学习spark, 有了docker搭建集群太方便了 安装好docker之后,在vbox里面做一个共享目录, 方便虚拟机从host拷贝文件 运行docker, 接着运行boot2docker ssh 这样就进到虚拟机里面了, 因为需要用到github上的脚本, 可以拷贝你的ssh文件到虚拟机里面 cp /Users/zd/.ssh/id_* ~/.
macOS spark的安装与运行
热门推荐
hil2000的专栏
06-03 1万+
1.访问spark官网https://spark.apache.org/，然后单击download连接https://spark.apache.org/downloads.html 2.进入download界面后，选择类型为Pre-buil for Apache Hadoop2.7 and later，这样就不用事先安装Hadoop了 3.单击download spark后的连接，下载...
Mac环境下安装spark
weixin_40371587的博客
06-02 6300
由于spark是由scala编写，而scala又是基于jvm环境的变成语言，所有首先要保证你的环境已经安装了JDK81.安装scala环境brew install scala安装完成后检查scala -version查看是否安装成功2.安装spark环境http://spark.apache.org/downloads.html下载最新的spark包解压安装包tar -zxvf spark-2.3...
Mac M1搭建hadoop+spark集群教程
YIU
03-25 8579
最近一直在搞Mac虚拟机，尝试了parallel、vmware、utm，感觉效果都不是很好，踩了了很多很多坑，parallel破解直接劝退我，并且也不是很稳定；wmware for m1刚开始装了一次挺不错的，但是因为我集群磁盘太小扩展磁盘大小的时候，系统就这样崩了，不管最后怎么装都没有用；最后我转战utm，刚开始因为不熟悉utm也踩了很多坑，弃了一段时间，vmware实在装不了了，我又来找utm了【utm yyds 轻便又好用又不花钱（后续发现的问题是容易闪退），推荐mac m1用户使用】。 ps：建议u
docker cp nginx:/etc/nginx/nginx.conf D:\docker\nginx bash: docker: command not found
01-09
您在执行`docker cp nginx:/etc/nginx/nginx.conf D:\docker\nginx`命令时遇到了`bash: docker: command not found`错误。这是因为您的系统中没有安装Docker或者Docker命令不可用。 要解决这个问题，您需要确保已经正确安装了Docker并且Docker命令可用。您可以按照以下步骤来安装Docker： 1. 首先，确保您的操作系统是支持Docker的。Docker支持多种操作系统，包括Linux、Windows和MacOS。请查看Docker官方文档以获取详细的操作系统要求。 2. 在Linux上，您可以使用包管理器来安装Docker。例如，在Ubuntu上，您可以使用以下命令来安装Docker： ```shell sudo apt-get update sudo apt-get install docker-ce ``` 3. 在Windows上，您可以从Docker官方网站下载Docker Desktop并按照安装向导进行安装。 4. 安装完成后，您可以打开终端或命令提示符窗口，并运行`docker --version`命令来验证Docker是否成功安装。 如果您已经正确安装了Docker但仍然遇到了`bash: docker: command not found`错误，请确保您的系统的环境变量中包含了Docker的安装路径。您可以通过在终端或命令提示符窗口中运行`echo $PATH`命令来查看环境变量。 如果您仍然遇到问题，请提供更多关于您的操作系统和Docker安装过程的信息，以便我们能够更好地帮助您解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值