Mac Spark 安装

最新推荐文章于 2024-04-13 17:09:44 发布
最新推荐文章于 2024-04-13 17:09:44 发布
阅读量1.2k 收藏 4
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dingchangxiu11/article/details/117229489
版权

spark包下载地址：https://spark.apache.org/downloads.html
在这里插入图片描述
选择适合的spark 版本进行下载
再安装spark之前要保证你的电脑上已经安装了JDK，Hadoop , Scala ，Python
将下载好的安装包尽心解压，得到如下的文件夹
在这里插入图片描述

配置conf文件及环境变量
conf：
复制conf目录下的spark-env.sh.template ,并将复制的文件重命名为 spark-env.sh
在这里插入图片描述

修改spark-env.sh 的内容为：
export SCALA_HOME= /Users/admin/Library/Application Support/JetBrains/IntelliJIdea2020

最低0.47元/天 解锁文章
小二货007
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Mac下spark的安装和完整的开发环境搭建
CYJ2014go的博客
09-10 4258
一、首先是Java环境的搭建： https://blog.csdn.net/CYJ2014go/article/details/82383024 二、IntelliJIDEA的安装和插件配置： https://blog.csdn.net/CYJ2014go/article/details/82590801
Mac Spark安装及其IDE使用
01-07
一、首先搭建hadoop环境 https://blog.csdn.net/jiuweiC/article/details/104414651 二、安装scala 命令行执行：brew install scala 执行完成后，终端输入：scala -version 进行查看，如下表明安装成功： scala -version Scala code runner version 2.12.8 -- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc. 然后在环境变量中增加scala相关的变量，命令行输入：vim ~/etc/profile进行编辑，
macos安装local模式spark
GitHub-ChauserMondieu
02-07 910
c. 添加以下三条连接，使得spark能够找到对应的hadoop和相应的包。2. 打开sparkshell。然后执行并生效系统环境变量。然后执行并生效系统环境变量。可以看到很多输出，最后找到。b. 其次替换配置文件。
【大数据】Mac下安装hadoop-scala-spark，2024年最新走进大数据开发架构
最新发布
2401_84166965的博客
04-13 489
vip204888 （备注大数据获取）**[外链图片转存中…(img-P5wq1vW4-1712999308386)]
在Mac上安装Spark apache-spark-3.5.1
m0_66807384的博客
04-11 723
安装spark的步骤较为简单，前提是要安装好Hadoop哦。这里我使用brew来安装，如果你安装了homebrew直接在终端里输入brew install apache-spark然后等着就可以了（如果没有安装过brew的参考其他博主的内容去安装哦）上面这个就是用brew安装好的样子切换到spark3.5.1的目录下，然后再切换到 libexec/conf 下面先复制一份 spark-env.sh.template 文件然后重命名（用cp命令）为spark-env.sh。
【大数据】mac M1 安装配置 spark, hadoop, scala, java, maven 教程
weixin_39348931的博客
11-24 1985
在 Users/XXX路径下创建 env 文件, 将解压后的文件移动到 env 路径下。注意,此处的python3,可以换成你自己环境的 python命令,具体操作如下。然后按 esc 键退出编辑模式,输入 :wq 保存退出。执行命令检查 spark 是否正常。类似上面,解压后移动到env 下面。检查 hadoop 命令是否可用。按 insert 进入编辑模式。检查 scala 是否可用。在刚才下载的时候输入 y。将下面内容复制粘贴进去。
Mac安装Spark
绝圣弃智-零的博客
08-11 1719
下载spark 解压后，配置环境变量 export SPARK_HOME=/usr/local/Cellar/apache-spark/2.4.5_1/libexec export PATH=$PATH:$SPARK_HOME/bin 注意：安装大数据相关的软件时特别要注意版本号，大数据安装软件经常遇到版本号不兼容的问题，如果要安装特定版本的spark采用直接下载.tar包解压的方式安装。因我安装的大数据软件都是最新版本，brew install spark安装的Spark不是最新的，这样版本
spark安装.zip
11-12
这个“spark安装.zip”文件显然包含了针对大数据分析初学者的Spark安装教程，以及如何使用Python进行测试的步骤。下面将详细介绍Spark的安装过程，以及如何利用Python与Spark进行交互。 首先，安装Spark需要准备...
spark mac 版本
01-19
1. **Spark安装**： - 下载：首先，你需要从Apache官方网站（https://spark.apache.org/downloads.html）下载适合Mac OS的预编译版本，通常选择"Pre-built for Apache Hadoop"，并确保与你的Hadoop版本兼容。 - ...
spark2.7.5 for mac
02-19
spark2.7.5的mac版，之前的mac旧版本一直连接不成功xmpp服务器，找了好久才找到的最新版spark2.7.5 。测试可用. 和openfire配合开发即时通讯app
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、...
Mac下安装Spark开发环境(Linux系统可参照)
weixin_30336061的博客
01-10 247
之前一直使用VNC在远程集群上进行Spark程序开发，但是网络的不稳定以及集群时常升级让人头疼。在这里我在自己的Mac上 搭建单机Spark开发环境，作为学习开发已经足够。Linux系统用户也可以参考。 一、本机环境 Macbook pro retina with 8G memory 二、准备工作 JDK1.6.05 Scala 11....
macOS spark的安装与运行
hil2000的专栏
06-03 1万+
1.访问spark官网https://spark.apache.org/，然后单击download连接https://spark.apache.org/downloads.html 2.进入download界面后，选择类型为Pre-buil for Apache Hadoop2.7 and later，这样就不用事先安装Hadoop了 3.单击download spark后的连接，下载...
mac os环境搭建spark
热门推荐
lv836735240的专栏
10-23 1万+
1.eclipse按装scala ide 地址如下： http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site 2.spark环境搭建 先安装scala brew install scala 安装完成后 scala -version查看是否安装成功 2.spark安装包下载:http://spark.
mac系统spark环境搭建
Maxi的专栏
03-24 1166
所需工具1.jdk2.scala 下载地址：scala官网下载scala版本下载需注意，后期idea编译可能导致报错，scala版本和spark版本存在一些兼容性问题 spark开发语言支持scala、java和python，推荐scala，因为spark源码就是scala，后期可以为研究源码打基础 3.spark下载地址：spark官网下载配置环境变量vi ~/.bash_profile追加ex
使用python进行深度学习的环境配置流程
Childhood_Sweetheart的博客
10-10 957
今天重新的配置了一下用python进行深度学习的环境，主要分为以下几步 1、python的安装，可以直接到python的官网进行安装，我是安装的python3.6.4 2、安装完python之后，我下载了pycharm的社区版本 3、cuda的安装，cuda的版本为10.1 进入这个地址 https://developer.nvidia.com/cuda-toolkit-archive ，可以下载旧版本 具体按安装过程可以参考B站的教程 4、cudnn的下载，cudnn的...
Mac下安装spark，并配置pycharm-pyspark完整教程
shiyutianming的博客
08-21 9507
最近在学spark,先学习在Mac上安装spark，然后由于本人经常用Python，所以还要配置一下pyspark+pycharm,网上的教程大多不全，现将本人搭建的完整过程分享如下。 参考： https://www.cnblogs.com/ostrich-sunshine/p/8414677.html https://www.jianshu.com/p/31c7f6a5fc7e http...
mac 安装pyspark
zbzckaiA的博客
08-06 3933
1.安装jdk jdk下载地址 然后一步一步安装jdk就可以了。  检测jdk是否安装成功:  java -version  2.安装scala Scala下载地址  解压Scala包  配置.bash_profile 文件，没有就重建一个  export SCALA_HOME=你自己的scala的安装目录/scala-2.12.2/  export PATH=PATH:PATH:SCALA_H...
spark安装与配置 mac
09-11
要在Mac上安装和配置Spark，可以按照以下步骤进行操作： 1. 首先，确保你的Mac上已经安装了Java Development Kit（JDK）。你可以通过在终端中运行以下命令来检查是否已安装JDK： ```shell java -version ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值