docker安装spark3

最新推荐文章于 2024-05-11 01:18:10 发布
最新推荐文章于 2024-05-11 01:18:10 发布
阅读量1k 收藏 1
点赞数
分类专栏： spark 文章标签： docker 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32506245/article/details/119155901
版权

windows安装docker可见 Windows安装docker
DockerHub上的spark镜像可见 docker hub
本文选用的是bitnami/spark

运行 docker pull bitnami/spark 即可安装最新版本的spark。运行此命令安装前注意文件路径全英文。
在这里插入图片描述
安装完成后，docker的images中，会显示出这个。点击RUN。
在这里插入图片描述
image在run起来后，container显示如下，如图点击 open in terminal,就可以在命令界面控制spark。
在这里插入图片描述
如下图，输入 bin/spark-shell，就打开spark命令行操作界面。spark默认使用语言为scala，语言方面需要使用python可以输入pyspark,sql可以输入bin/spark-sql
在这里插入图片描述

spark 官网

BugAngel233
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Docker 搭建Spark集群
dw147258dw的专栏
04-10 973
jdk 从oracle官网进行下载，复制相应下载链接.我是在本地下载后上传到linux上，再docker cp到容器里.在linux上命令如下。生成新镜像，此处取名为my-ssh-centos7。配置hdfs-site.xml,设置副本数和NameNode、DataNode的目录路径。参考csdn等文章，利用docker安装spark。用虚拟化容器模拟出三个节点。再度进入容器后，执行下列操作，设置ssh免密登录。配置mapred-site.xml。配置yarn-site.xml。进入容器后，进行下列操作。
Spark3.1.2 Docker镜像资源
01-29
Docker制作Spark3.1.2镜像 步骤一：docker build -t registry/spark:3.1.2 -f kubernetes/dockerfiles/spark/Dockerfile . 步骤二：docker images查看镜像 步骤三：导出镜像 docker save -o spark3.1.2.tar ...
记录《现有docker中安装spark3.4.1》
u011788214的专栏
08-23 438
记录
2024年最新用 Docker 搭建 Spark 集群_docker spark-mesos(1)，软件测试语言基础教程培训
2401_84140707的博客
05-11 303
Spark 是 Berkeley 开发的分布式计算的框架，相对于 Hadoop 来说，Spark 可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。熟悉 Hadoop 的同学也不必担心，Spark 很多设计理念和用法都跟 Hadoop 保持一致和相似，并且在使用上完全兼容 HDFS。但是 Spark 的安装并不容易，依赖包括 Java、Scala、HDFS 等。
Windows Docker Desktop安装spark并建立集群运行简单的Java词汇统计Maven项目
weixin_52785320的博客
05-09 3206
Docker Desktop for Windows环境下，我们将使用Bitnami的Spark Docker镜像创建一个简单的Spark集群，并在该集群上运行一个简单的程序。
Win11 Docker 快速部署spark（快速部署pySpark 、使用Docker compose部署spark）
weixin_52785140的博客
10-06 1960
构建镜像完成后，还需要修改 docker-compose.yml 文件，使其从新的镜像 s1mplecc/spark-hadoop:3中启动容器集群，同时映射 Hadoop Web UI 端口。HDFS 上的文件被读取为 RDD，在内存上进行 Transformation 后写入 HDFS。由于设置了 ssh 免密通信，首先需要启动 ssh 服务，然后依次启动 HDFS 和 YARN 集群。：挂载本地目录 D:/Docker/spark/share 到容器目录 /opt/share；
Docker安装Spark
风物长宜放眼量
08-13 793
Docker安装Apache Spark
docker-compose快速搭建hadoop
blues的博客
05-16 1588
1、docker-compose.yml version: "3" services: namenode: image: bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 container_name: namenode restart: always ports: - 9870:9870 - 9000:9000 volumes: - ./hadoop/dfs/name:/ha
Docker环境部署Hadoop并使用docker构建spark运行案列（全网最详细教程）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-04 7644
本文主要是Docker部署hadoop 和使用docker构建spark运行环境，里面有详细的安装配置教程和操作说明，环境没问题的话，按照操作基本都能部署完成和运行，后面也有一些案列可以帮助更好的操作和理解hadoop和spark运行原理。
使用docker快速搭建Spark集群的方法教程
09-30
通过使用 Docker，可以快速的在本地搭建一套 Spark 环境，方便大家开发 Spark 应用，或者扩展到生产环境。下面这篇文章主要给大家介绍了使用docker快速搭建Spark集群的方法教程，需要的朋友可以参考借鉴，下面来一起...
docker 部署spark集群配置文件
09-12
资源名称: Spark 集群配置文件 资源类型: 配置文件 描述: 这个资源包含了一个基本的Spark集群配置，包括Hadoop、Hive、MySQL和Spark的配置文件。 文件清单: Dockerfile build.sh build_network.sh -yarn-site.xml -...
bitnami-docker-spark：适用于Apache Spark的Bitnami Docker映像
02-10
什么是星火？ Apache Spark是用于执行大型计算任务（例如数据处理，机器学习和实时数据流）的高性能引擎。 它包括Java，Python，Scala和R的API。 TL; DR Docker撰写 $ curl -LO https://raw.githubusercontent.com/bitnami/bitnami-docker-spark/master/docker-compose.yml $ docker-compose up 您可以在“部分中找到可用的配置选项。 为什么要使用Bitnami Images？ Bitnami密切跟踪上游源变化，并使用我们的自动化系统及时发布该图像的新版本。 对于Bitnami映像，将尽快提供最新的错误修复和功能。 Bitnami容器，虚拟机和云映像使用相同的组件和配置方法-可以轻松地根据项目需求在格式之间进行切换。 我们所有的映像都基于
spark3_docker：具有Java 1.8，python 3.8.5和scala 2.13的Spark 3的Docker映像
02-12
spark3_docker 使用Java 1.8，Python 3.8.5和Scala 2.13的Spark 3的Docker映像 步骤1：安装Docker 步骤2：为Docker桌面提供适当的资源。 如果您使用的是Windows 10或Mac OS，请确保至少提供系统内存和处理器总数的一半。 我有八个核心处理器和32 GB的Ram。 因此，我为docker hub提供了六个内核和16 GB的ram空间。 步骤3：使用提取Docker映像 docker pull sandipanghosh / spark3_hadoop3：latest 步骤4：使用 docker容器运行-it -v / host_path / docker_data /：/ root / docker_data --name spark3 -p 8080：8080 -p4040：4040 spark3_hado
docker-spark：适用于Apache Spark的Docker映像
02-05
docker-spark：适用于Apache Spark的Docker映像
K8S 部署 spark
weixin_42555971的博客
02-08 1022
k8s spark
docker6_搭建spark集群
qq_45972323的博客
05-26 808
docker
在k8s环境下部署Spark分布式计算平台
justlpf的专栏
01-06 1198
Spark是分布式计算平台，是一个用scala语言编写的计算框架，基于内存的快速、通用、可扩展的大数据分析引擎。
通过docker-compose安装spark
taoruicheng1的博客
12-26 677
docker-compose 安装spark+hadoop
基于k8s搭建spark
Rory的博客
11-12 1380
【代码】基于k8s搭建spark。
docker 安装spark
最新发布
06-14
Docker是一个开源的应用容器引擎，它使得开发者可以打包应用以及其依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器或Windows机器上，保证环境的一致性。Spark是一个开源的大数据处理框架，它支持实时流处理和批处理任务。 要使用Docker安装Spark，你需要按照以下步骤进行： 1. **安装Docker**: 首先确保你的系统已经安装了Docker，如果没有，可以从Docker官网下载适用于你操作系统的安装包并安装。 2. **选择镜像**: Docker Hub上有官方的Apache Spark镜像（例如`library/spark`），你可以直接拉取。对于特定版本，例如`spark:2.4.0`或`spark:latest`。 3. **运行容器**: 使用Docker命令行，执行类似以下的命令来启动Spark容器： ``` docker run -it --name spark-container -p 8080:8080 -p 7077:7077 -v /path/to/local/spark/data:/data spark:2.4.0 ``` 这里 `-p` 是端口映射，`-v` 是挂载宿主机的数据目录给Spark使用。 4. **验证安装**: 访问`http://localhost:8080`查看Spark UI，这是管理Spark应用程序的地方。如果看到Spark的欢迎页面，说明安装成功。 5. **配置和管理**: 为了持久化数据和更复杂的设置，你可能需要创建Dockerfile自定义镜像，或者在宿主机上使用Spark的分布式配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值