Mac下Spark 2.4安装

最新推荐文章于 2024-04-11 22:22:24 发布
最新推荐文章于 2024-04-11 22:22:24 发布
阅读量245 收藏
点赞数
分类专栏： 大数据处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xurui_Luo/article/details/108221448
版权

  • 系统已经装了java8，直接装spark即可

  • 看很多教程都说要装hadoop, scala等，我没有这些操作安装也没有问题

  • 直接在官网得到相应的安装包解压，我这里是spark-2.4.6-bin-hadoop2.6，然后配环境变量即可使用：

    • 放到/usr/local/spark目录下(spark目录是我自己创建的)
    • 然后直接命令行敲spark-shell就会有反馈

参考

Xurui_Luo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark2.4.X 安装 mac
weixin_43858757的博客
04-29 194
首先，在安排前要确保已经安装了java和Scala，因为spark对scala有依赖，而scala对java有依赖。 如果没有安装java，直接去官网下载，然后解压安装，在/etc/profile中添加环境变量。 如果已经安装了java，没有安装scala，则去scala官网下载一份压缩包，把压缩包解压到指定的目录下，然后在etc/profile中添加环境变量。 怎么添加环境变量？随便百度一下就好，答案很多。 java和scala都安装好以后，注意，就可以安装spark了。 这里放一个spark2
macos安装local模式spark
GitHub-ChauserMondieu
02-07 922
c. 添加以下三条连接，使得spark能够找到对应的hadoop和相应的包。2. 打开sparkshell。然后执行并生效系统环境变量。然后执行并生效系统环境变量。可以看到很多输出，最后找到。b. 其次替换配置文件。
M2 MacbookPro配置Spark源码运行环境
&再见萤火虫&的博客
09-21 710
跟spark相关的【java.lang.ClassNotFoundException】，原因都是example module中pom.xml spark的依赖scope是provided。我是中途切换了一次IDEA版本（从2023.2切换到2020.3），删除.idea目录，重新打开项目，Open as Project后问题解决。如果右边import包时飘红，但是示例可以正常运行，可以试试这里的方法。我自己的配置结果如下（不同IDEA版本，配置界面稍有不同）完结撒花✿✿ヽ(°▽°)ノ✿。
Spark3 Mac单机环境搭建
u010654299的博客
12-29 1011
1 相关准备   若已配置JDK和Scala，可跳过此步骤。 1.1 JDK下载   Spark需要JDK版本8以上，以下以JDK8安装为例 JDK下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html   下载完成后，点击安装包，一路继续完成安装。在完成后，在终端输入ja...
在Mac上安装Spark apache-spark-3.5.1
最新发布
m0_66807384的博客
04-11 808
安装spark的步骤较为简单，前提是要安装好Hadoop哦。这里我使用brew来安装，如果你安装了homebrew直接在终端里输入brew install apache-spark然后等着就可以了（如果没有安装过brew的参考其他博主的内容去安装哦）上面这个就是用brew安装好的样子切换到spark3.5.1的目录下，然后再切换到 libexec/conf 下面先复制一份 spark-env.sh.template 文件然后重命名（用cp命令）为spark-env.sh。
2018即将推出的Apache Spark 2.4都有哪些新功能
09-15
Apache Spark 2.4 是一个重要的版本更新，作为2.x系列的第五个版本，它带来了许多新特性和增强，旨在提升大数据处理的效率、稳定性和易用性。以下是对Apache Spark 2.4中关键功能的详细说明： 1. **新调度模型：...
centOS7下Spark安装配置教程详解
09-15
在本文中，我们将深入探讨如何在CentOS7操作系统上安装和配置Apache Spark，这是一个流行的分布式计算框架。首先，我们需要确保我们的环境满足Spark的运行需求，包括Java Development Kit (JDK) 和Scala的安装。 1....
Mac Spark安装及其IDE使用
01-07
二、安装scala 命令行执行：brew install scala 执行完成后，终端输入：scala -version 进行查看，如下表明安装成功： scala -version Scala code runner version 2.12.8 -- Copyright 2002-2018, LAMP/EPFL and ...
【大数据】mac M1 安装配置 spark, hadoop, scala, java, maven 教程
weixin_39348931的博客
11-24 1991
在 Users/XXX路径下创建 env 文件, 将解压后的文件移动到 env 路径下。注意,此处的python3,可以换成你自己环境的 python命令,具体操作如下。然后按 esc 键退出编辑模式,输入 :wq 保存退出。执行命令检查 spark 是否正常。类似上面,解压后移动到env 下面。检查 hadoop 命令是否可用。按 insert 进入编辑模式。检查 scala 是否可用。在刚才下载的时候输入 y。将下面内容复制粘贴进去。
spark mac 版本
01-19
spark mac 版本spark mac 版本spark mac 版本spark mac 版本spark mac 版本
spark-2.0.2-bin-hadoop2.4.tgz
07-01
spark安装包 支持JDK7、hadoop2.4/2.5/2.6 需要scala2.11.X 解决官网下载速度慢 网络延迟高的问题。
Mac环境下安装spark
weixin_40371587的博客
06-02 6301
由于spark是由scala编写，而scala又是基于jvm环境的变成语言，所有首先要保证你的环境已经安装了JDK81.安装scala环境brew install scala安装完成后检查scala -version查看是否安装成功2.安装spark环境http://spark.apache.org/downloads.html下载最新的spark包解压安装包tar -zxvf spark-2.3...
Mac安装Spark
Evankaka的专栏
07-30 4540
一、安装scala 1、下载taz包 进入http://www.scala-lang.org/download/ 下载后解压 2.配置环境变量 Mac修改 .bash_profile 文件，此文件是mac 当前用户的环境配置文件。 /etc/profile 是当前系统的环境配置文件（Linux，系统可修改这个） .bash_profile 文件的路径是在当前用户下。 vim ~/.bash_...
Mac Spark 安装
dingchangxiu11的博客
05-24 1256
spark包下载地址：https://spark.apache.org/downloads.html 选择适合的spark 版本进行下载 再安装spark之前要保证你的电脑上已经安装了JDK，Hadoop , Scala ，Python 将下载好的安装包尽心解压，得到如下的文件夹 配置conf文件及环境变量 conf： 复制conf目录下的spark-env.sh.template ,并将复制的文件重命名为 spark-env.sh 修改spark-env.sh 的内容为： export SCALA_
Mac下spark的安装和完整的开发环境搭建
CYJ2014go的博客
09-10 4260
一、首先是Java环境的搭建： https://blog.csdn.net/CYJ2014go/article/details/82383024 二、IntelliJIDEA的安装和插件配置： https://blog.csdn.net/CYJ2014go/article/details/82590801
macOS spark的安装与运行
热门推荐
hil2000的专栏
06-03 1万+
1.访问spark官网https://spark.apache.org/，然后单击download连接https://spark.apache.org/downloads.html 2.进入download界面后，选择类型为Pre-buil for Apache Hadoop2.7 and later，这样就不用事先安装Hadoop了 3.单击download spark后的连接，下载...
Spark2.4.0发布了！
大数据星球-浪尖
11-10 1986
Spark2.4.0 今天官网发布，这是一个大好消息。Spark 2.4.0是2.x的第五个发型版本。官方发布消息链接如下：http://spark.apache.org...
Apache Spark 2.4 新特性解读
"藏经阁-Apache Spark系列技术直播# 第六讲【 What's New in Apache Spark 2.4 】.pdf" 本资源主要涵盖了Apache Spark 2.4版本的新特性和改进，由Databricks的软件工程师、Apache Spark的贡献者和PMC成员进行讲解。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值