Mac下安装Spark开发环境(Linux系统可参照)

最新推荐文章于 2024-04-11 22:22:24 发布
最新推荐文章于 2024-04-11 22:22:24 发布
阅读量1w 收藏 3
点赞数
分类专栏： Spark 文章标签： spark linux mac spark安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangmuted/article/details/42582849
版权
本文详细介绍了如何在Mac环境下搭建Spark开发环境，同样适用于Linux用户。内容包括准备JDK和Scala，下载Spark，配置环境变量，设置SSH免密码通讯，以及启动Spark和测试Spark Shell的过程。
摘要由CSDN通过智能技术生成

之前一直使用VNC在远程集群上进行Spark程序开发，但是网络的不稳定以及集群时常升级让人头疼。在这里我在自己的Mac上

搭建单机Spark开发环境，作为学习开发已经足够。Linux系统用户也可以参考。

一、本机环境

Macbook pro retina with 8G memory

二、准备工作

JDK 1.6.05

Scala 11.4

在Spark下载界面下载Spark 1.2.0。我在Mac上并没有使用hdfs（可根据个人需求选择性安装），选择Hadoop1.X版本，最后点

击第4项的spark-1.2.0-bin- hadoop1.tgz直接下载即可。

最低0.47元/天 解锁文章
老杨0511
关注
专栏目录
第一章：Java是什么、Java特性、Java环境安装和编写一个简单的Java程序以了解Java程序运行原理
快乐江湖的博客
06-15 401
特别注意：学习Java应该先学习C语言（至少基础语法），但是Java和C是两类东西（就像C和C++一样），所以学习时不要把C语言的一些东西生搬硬套在Java上，它们的思想是完全不一样的，否则你会学习的很痛苦Java：Java是一种优秀的程序设计语言，它具有令人赏心悦目的语法和易于理解的语义。不仅如此，Java还是一个有一系列计算机软件和规范形成的技术体系， 这个技术体系提供了完整的用于软件开发和跨平台部署的支持环境，扩泛应用于嵌入式系统、移动终端、企业服务器、大型机等各种场合主要有：企业级系统：比如大型复杂
大数据集群环境搭建
sdy1985的博客
07-28 1万+
本文基于最新版本的jdk、hadoop、hive、spark、storm、hbase等构件大数据集群环境
Mac安装Spark
人不风流枉少年
02-25 4463
安装scala brew install scala scala -version 配置环境变量 export SCALA_HOME=/usr/local/Cellar/scala-2.13.1 export PATH=$PATH:$SCALA_HOME/bin 安装spark brew install spark 配置环境变量 export SPARK_HOME=/usr/loca...
Mac/ubuntu安装spark
weixin_37990514的博客
04-25 89
Mac安装spark https://www.jianshu.com/p/8d780e14b699 https://blog.csdn.net/cyh_24/article/details/49683221?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-2.control&dist_request_id=1332036.7..
十分钟在 macOS 快速搭建 Linux C/C++ 开发环境
wu_weijie的博客
04-14 6153
借助 CLion + Docker，在 macOS 十分钟快速搭建一个 Linux C/C++ 项目开发环境。
Mac下使用Spark-shell实现WorldCount
煊琦的CSDN小窝
04-29 1074
记录一下用spark自带的例子跑Worldcount项目(注：mac下运行会省略hdfs读取文件的步骤，若在linux下运行请先用hdfs读取本地文件再进行操作)开启hadoop#进入hadoop所在文件夹下 sbin/start-all.sh使用jps查看情况，确认namenode和datanode都开启成功jps开启spark-shell#进入spark文件夹下 bin/spark-shell读
Mac下spark的安装和完整的开发环境搭建
CYJ2014go的博客
09-10 4281
一、首先是Java环境的搭建： https://blog.csdn.net/CYJ2014go/article/details/82383024 二、IntelliJIDEA的安装和插件配置： https://blog.csdn.net/CYJ2014go/article/details/82590801
从零开始搭建spark集群环境
白学病患者的专栏
04-21 5412
CentOS7.9 + Hadoop 3.2.3 + Spark3.2.1 + Anaconda3
centos7+jdk1.8+scala+spark+IEDA(mac可参考)集群环境搭建
ydq1206的博客
12-08 1015
因为硬件原因，博文一直没有更新，非常抱歉，最近去买了一个配置比较好的笔记本，尝试了下spark在linux下环境的搭建，利用一个星期的业余时间，终于是搭建成功了，特此记下了，也是给大家一些借鉴，如有问题，可以留言，或者邮箱(xlydq1206@sina.com)。好，下面切入正题啦~ 首先，我的笔记本是双核四线程的，大环境是mac下同下用平行桌面搭建了四个虚拟机(win7+3个centos的l
Linux虚拟环境搭建篇幅一(Mac本arm架构)
m0_73863736的博客
03-25 342
Mac本安装linux
在Mac上安装Spark apache-spark-3.5.1
最新发布
m0_66807384的博客
04-11 1268
安装spark的步骤较为简单，前提是要安装好Hadoop哦。这里我使用brew来安装，如果你安装了homebrew直接在终端里输入brew install apache-spark然后等着就可以了（如果没有安装过brew的参考其他博主的内容去安装哦）上面这个就是用brew安装好的样子切换到spark3.5.1的目录下，然后再切换到 libexec/conf 下面先复制一份 spark-env.sh.template 文件然后重命名（用cp命令）为spark-env.sh。
【cise】基于vscode+docker在mac本机搭建linux持续集成系统和开发环境
yagerfgcs的博客
10-16 1649
搭建一套持续集成系统，覆盖代码格式规范、静态检查、代码覆盖率、ut环境、内存泄漏检测等，通过vscode集成开发。
mac linux 编译环境配置,mac开发环境配置
weixin_30868873的博客
05-05 315
个人mac开发环境配置流程，持续更新。1.安装Homebrew使用下面命令安装/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"在用户目录下使用下面的命令会失败，/usr/bin/ruby -e "$(curl -fsSL https://raw.git...
MacOS上搭建Spark环境
好记性不如烂笔头
05-15 1370
安装JDK 没有安装的直接去Oracl官网下载相应的JDK版本安装即可。 安装过JDK，可以使用下面命令查看当前安装了哪些JDK版本。 /usr/libexec/java_home -V 下面是笔者机器上安装的JDK版本，已经当前正在使用的版本。 $ /usr/libexec/java_home -V Matching Java Virtual Machines (2): 11.0.14 (x86_64) "Oracle Corporation" - "Java SE 11.0.14" /Libr
Mac 搭建spark开发环境
python_tty的专栏
05-31 7958
1.安装jdk jdk下载地址 然后一步一步安装jdk就可以了。 检测jdk是否安装成功: java -version 2.安装scala Scala下载地址 解压Scala包 配置.bash_profile 文件，没有就重建一个 export SCALA_HOME=你自己的scala的安装目录/scala-2.12.2/ export PATH=PATH:PATH:SC
mac下Hadoop、HDFS、Spark环境的安装和搭建
热门推荐
淡然坊
10-09 2万+
大数据情结 14年的时候开始接触Hadoop，在Windows下搭了好几次环境，单机版、伪分布式和分布式都搭建过。那时候需要在Windows下装个虚拟机，在虚拟机中再装个Ubuntu，之后在Ubuntu上开始装jdk，hadoop等等，虽然麻烦了点，但是乐此不疲。一般环境搭建好了，再远程连接到Windows下的Eclipse然后开始把玩自带的10来个example，看着控制台齐刷刷的打印
macOS spark的安装与运行
hil2000的专栏
06-03 1万+
1.访问spark官网https://spark.apache.org/，然后单击download连接https://spark.apache.org/downloads.html 2.进入download界面后，选择类型为Pre-buil for Apache Hadoop2.7 and later，这样就不用事先安装Hadoop了 3.单击download spark后的连接，下载...
Linux环境下Hadoop与Spark安装及问题解决总结
本文档是关于在Linux环境下使用Hadoop进行数据存储和管理的一个总结，主要涉及HDFS的启动、SecondaryNameNode的问题处理、环境配置、Spark的安装以及一些Linux系统中遇到的问题。 1. HDFS启动与状态检查 在Linux...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值