MacOS上搭建Spark环境

最新推荐文章于 2024-04-11 22:22:24 发布

dupei

最新推荐文章于 2024-04-11 22:22:24 发布

阅读量1.3k

点赞数

文章标签： spark macos hadoop

本文链接：https://blog.csdn.net/dupei/article/details/124775353

版权

本文详细介绍了如何在MacOS上搭建Spark环境，包括安装JDK、配置SSH免密登录、通过Homebrew安装Hadoop、修改相关配置文件、格式化HDFS、配置环境变量、安装Scala和Spark，最后展示了如何启动和使用Spark。

摘要由CSDN通过智能技术生成

安装JDK

没有安装的直接去Oracl官网下载相应的JDK版本安装即可。
安装过JDK，可以使用下面命令查看当前安装了哪些JDK版本。

/usr/libexec/java_home -V

下面是笔者机器上安装的JDK版本，已经当前正在使用的版本。

$ /usr/libexec/java_home -V
Matching Java Virtual Machines (2):
    11.0.14 (x86_64) "Oracle Corporation" - "Java SE 11.0.14" /Library/Java/JavaVirtualMachines/jdk-11.0.14.jdk/Contents/Home
    1.8.0_301 (x86_64) "Oracle Corporation" - "Java SE 8" /Library/Java/JavaVirtualMachines/jdk1.8.0_301.jdk/Contents/Home
/Library/Java/JavaVirtualMachines/jdk-11.0.14.jdk/Contents/Home

ssh免密登录

# 生成没有秘钥的public key，可以使用rsa，也可以使用ed25519
ssh-keygen -t rsa -b 4096 -P '' -f ~/.ssh/id_rsa
ssh-keygen -t ed25519 -P '

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

dupei

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

在Mac上安装Apache Spark最新版本

lengyudexin的博客

12-28

1070

在Mac上安装Apache Spark最新版本在Mac（macOS）上安装最新版本的Apache Spark的只需要五个简单步骤使用Homebrew在Mac OS上安装Apache Spark已经变得非常容易。你可以在短短5分钟内安装它并开始运行spark例子。有多种方法可以在Mac上安装Apache Spark。下面我解释了使用Homebrew在Mac OS上逐步安装Apache Spark，验证安装，运行spark-shell，并创建一个Spark DataFrame。在Mac OS上安装最新

mac环境下安装spark-2.3.2

superY_26的博客

01-09

3124

本文仅记录在MacBook Pro M1型号上安装 JDK8、Hadoop-2.6.5、spark-2.3.2

参与评论您还未登录，请先登录后发表或查看评论

Mac上搭建spark开发环境

weixin_34326558的博客

08-23

236

本文将介绍在Mac os上搭建Spark开发环境。在安装spark环境之前，需要确保配置相应的java环境，jdk或者jre的版本需要在1.8.0版本以上。 (1)首先下载开发IDE，目前比较流行的IDE是IntelliJ IDEA,可以在官网下载使用，下载地址：https://www.jetbrains.com/idea/。(2)Spark环境搭建：mac上启动终端，使用brew instal...

macOS spark的安装与运行

最新发布

07-22

### Spark开发及本地环境搭建指南 #### 一、构建本机开发环境为了高效地进行Spark的开发工作，首先需要构建一个稳定且高效的本地开发环境。以下是一些关键步骤： 1. **操作系统的选择**：推荐使用Linux操作系统...

Mac M1搭建hadoop+spark集群教程

YIU

03-25

8803

最近一直在搞Mac虚拟机，尝试了parallel、vmware、utm，感觉效果都不是很好，踩了了很多很多坑，parallel破解直接劝退我，并且也不是很稳定；wmware for m1刚开始装了一次挺不错的，但是因为我集群磁盘太小扩展磁盘大小的时候，系统就这样崩了，不管最后怎么装都没有用；最后我转战utm，刚开始因为不熟悉utm也踩了很多坑，弃了一段时间，vmware实在装不了了，我又来找utm了【utm yyds 轻便又好用又不花钱（后续发现的问题是容易闪退），推荐mac m1用户使用】。 ps：建议u

BigData | 从头搭建一个Spark环境（MacOS版）

Pysamlam的博客

06-12

291

???? IndexStep1：安装JDKStep2：安装Python3Step3：安装HadoopStep4：安装ScalaStep5：安装Spark???? Step1：安装JD...

Mac搭建Spark环境

04-25

1209

一、首先搭建hadoop环境 https://xingqijiang.blog.csdn.net/article/details/78736449 二、安装scala 命令行执行：brew install scala 执行完成后，终端输入：scala -version 进行查看，如下表明安装成功： jiangxingqideMacBook-Pro:~ jiangxingqi$ scal...

Mac下搭建Spark开发环境

yjk13703623757的博客

09-15

2913

1. mac os环境搭建spark 2. Mac下安装Spark开发环境(Linux系统可参照)

在Mac上安装Spark apache-spark-3.5.1

m0_66807384的博客

04-11

1274

安装spark的步骤较为简单，前提是要安装好Hadoop哦。这里我使用brew来安装，如果你安装了homebrew直接在终端里输入brew install apache-spark然后等着就可以了（如果没有安装过brew的参考其他博主的内容去安装哦）上面这个就是用brew安装好的样子切换到spark3.5.1的目录下，然后再切换到 libexec/conf 下面先复制一份 spark-env.sh.template 文件然后重命名（用cp命令）为spark-env.sh。

Mac搭建spark开发环境

huiminchi的博客

01-02

740

https://blog.51cto.com/6193721/2163571?source=dra https://blog.csdn.net/CYJ2014go/article/details/82590924 两个链接结合着用，以第一个链接为准。

Mac下使用Spark-shell实现WorldCount

煊琦的CSDN小窝

04-29

1074

记录一下用spark自带的例子跑Worldcount项目(注：mac下运行会省略hdfs读取文件的步骤，若在linux下运行请先用hdfs读取本地文件再进行操作)开启hadoop#进入hadoop所在文件夹下 sbin/start-all.sh使用jps查看情况，确认namenode和datanode都开启成功jps开启spark-shell#进入spark文件夹下 bin/spark-shell读

spark2.4.0 伪分布式集群搭建 mac环境

大黄_sama

08-04

403

一、官网文档 https://spark.apache.org/docs/2.4.0/spark-standalone.html 二、技能标签 - 学会安装Spark 2.4.0 standalone模式环境安装 - Spark 集群环境maste，worker,history server 启动停止命令 - Spark master,worker,history server 配置和管理界面查看 - Spark shell 终端执行交互式命令，Spark shell 作业监控 - World.

Spark入门篇------Spark环境的配置（macOS）

life_stranded的博客

04-10

757

硬件：Macbook Pro 系统：macOS Mojave 10.14.4 在terminal中输入 java -version 如图是已经有Java环境的情况 1.Java环境配置（JDK安装）如果没有，请戳这里 2.Ecilpse配置（Scala插件安装）首先你得有一个 eclipse 然后 Help>>Eclipse Marketplace ...

mac下Hadoop、HDFS、Spark环境的安装和搭建

ricky_lyq的博客

10-04

534

环境搭建相比之前搭建Hadoop环境的Windows系统的相对繁琐步骤，Mac下显得简单不少。虽然我们需要搭建的是Spark环境，但是因为Spark依赖了Hadoop的HDFS以及YARN计算框架，当然还有类似软件包管理软件。安装前必备操作系统：Mac OS X JDK：1.8.0_121 命令终端：iTerm2（Mac自带的命令终端也一样，只是配置环境参数需要到~/.bash_profile下添加，对于iTerm2需要到~/.zshrc中添加）软件包管理工具：brew（能够方便的安装和卸载

macOS Spark 2.4.3 standalone 搭建笔记

cqi024442的博客

05-14

365

based on jdk 1.8 Mac os 1、解压 nancylulululu:local nancy$ tar -zxvf /Users/nan...

在Linux和MacOS上搭建Android编译环境

在本文档中，我们将专注于在Ubuntu Linux上搭建Android的编译环境。首先，确定你要编译的Android源代码分支。Android的源代码有不同的分支，你可以选择一个现有的稳定分支，也可以选择最新的master分支。查看版本...