Spark简要教程系列（一） Mac安装Spark

最新推荐文章于 2024-06-15 13:58:00 发布

天空下的斌

最新推荐文章于 2024-06-15 13:58:00 发布

阅读量8.8k

点赞数 6

分类专栏： Spark简要教程文章标签： spark mac jdk

本文链接：https://blog.csdn.net/a595130080/article/details/53350076

版权

Spark的安装大多比较麻烦，而Mac安装Spark非常简单，本文分三部分内容。 1. 安装JDK 2. 安装Spark 3. 简单测试

摘要由CSDN通过智能技术生成

Spark的安装大多比较麻烦，而Mac安装Spark非常简单，本文分三部分内容。
1. 安装JDK
2. 安装Spark
3. 简单测试

1. 安装JDK

（1）进入官方下载页面
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

（2）在下载列表里选择Mac OS X（这个版本傻瓜式安装。。。。），点Accept License Agreement ，然后就可以点击下载了

这里写图片描述

（3）下载完成后移动到你想存放的文件夹，然后双击安装就可以了。。。
打开终端，输入java -version

这里写图片描述

真的安装好了。。。。。

2. 安装Spark

（1）进入下载页面 http://spark.apache.org/downloads.html

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

天空下的斌

关注关注

6
点赞
踩
11

收藏

觉得还不错? 一键收藏
3
评论
Spark简要教程系列（一） Mac安装Spark

Spark的安装大多比较麻烦，而Mac安装Spark非常简单，本文分三部分内容。 1. 安装JDK 2. 安装Spark 3. 简单测试
复制链接

扫一扫

专栏目录

使用Spark shell

需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号

07-01

7103

大数据实验教学系统使用Spark shellspark-shell命令及其常用的参数如下： Spark的运行模式取决于传递给SparkContext的Master URL的值。 • 参数选项–master：这个参数表示当前的Spark Shell要连接到哪个master，如果是local[*]，就是使用本地模式启动spark-shell，其中，中括号内的星号表示需要使用几个CPU核心(core)，也就是启动几个线程模拟Spark集群。可选地，默认为local。 • 要查看完整的参数选项列表，可以执行“s

spark简要教程

05-01

### Spark简要教程知识点概述本教程主要围绕Apache Spark这一高效、通用的集群计算平台展开，旨在帮助读者理解Spark的基本概念、操作流程以及常见的数据处理技术。以下是根据提供的标题、描述、标签及部分内容所...

3 条评论您还未登录，请先登录后发表或查看评论

mac os安装spark

slibra_L的博客

11-21

599

最近由于需要使用本机环境运行spark，所以进行了spark的安装，记得当年（2017年）装spark的时候折腾了几个小时才装好，没想到现在安装的流程这么简单， 1. 下载安装包 http://spark.apache.org/downloads.html 这里我选的是spark-2.4.7-bin-hadoop2.7.tgz 2. 安装 cd /usr/local mv ~/Downloads/spark-3.0.0-preview2-bin-hadoop2.7.tgz ./ # 下载sp

Mac单机Hadoop2.7下安装Spark2.2+配置SparkSQL查询Hive表+spark-sql CLI 查询

hjw199089的博客

01-11

2574

下面简单记录mac单机spark安装测试的过程已安装好单机的伪分布式Hadoop，见Mac单机Hadoop安装备忘已安装好单机的hive，见Mac-单机Hive安装与测试单机Mac安装spark并做简单yarn模式shell测试配置SparkSQL查询Hive spark-sql CLI 查询Hive 一、安装Spark 1-下载安装scala https://

Mac M3 Pro 部署Spark-2.3.2 On Hive-3.1.3

自律给我自由

06-15

800

spark on hive环境搭建

【C语言基础】typedef关键字的使用方法

欢迎时常光顾我的干货超市，热衷于AIoT！！

04-06

430

一、typedef的作用二、typedef的语法格式三、常见的typedef使用示例

Spark集群搭建

guangzhizi_llj的博客

06-10

697

spark集群搭建

spark集群搭建_大数据环境搭建

weixin_39968128的博客

11-22

110

大数据开发环境无外乎是离线和实时两套开发环境，不过目前已经流行实时数仓体系的搭建了，但是底层主要还是Hadoop集群环境，给予Hadoop集群的spark集群，以及hive、flink等中间件的搭建。本篇文章主要是搭建伪分布式的hadoop集群以及spark集群，并安装hive、flink等离线和实时的开发中间件，并测试demo。Hadoop伪分布式集群搭建环境与依赖 JDK：1.8.0_221H...

spark安装配置教程.docx

最新发布

07-15

以下是一个基于Linux环境的Spark安装配置教程：一、前提准备确保Java已安装：Spark需要Java环境，因此需要先安装JDK，并确保JAVA_HOME环境变量已设置。（可选）确保Hadoop已安装：如果计划将Spark与Hadoop结合...

hadoop&spark安装教程.pdf

07-11

Hadoop和Spark的安装过程可以分别进行，以下是详细的安装步骤： Hadoop安装 Hadoop的安装通常包括下载、解压、配置环境变量和配置文件、格式化HDFS以及启动Hadoop服务等步骤。以下是一个基本的安装流程： 1.下载...

Mac Spark安装及其IDE使用

01-07

一、首先搭建hadoop环境 https://blog.csdn.net/jiuweiC/article/details/104414651 二、安装scala 命令行执行：brew install scala 执行完成后，终端输入：scala -version 进行查看，如下表明安装成功： scala -...

centOS7下Spark安装配置教程详解

09-15

在本文中，我们将深入探讨如何在CentOS7操作系统上安装和配置Apache Spark，这是一个流行的分布式计算框架。首先，我们需要确保我们的环境满足Spark的运行需求，包括Java Development Kit (JDK) 和Scala的安装。 1....

在Mac上安装Spark apache-spark-3.5.1

m0_66807384的博客

04-11

898

安装spark的步骤较为简单，前提是要安装好Hadoop哦。这里我使用brew来安装，如果你安装了homebrew直接在终端里输入brew install apache-spark然后等着就可以了（如果没有安装过brew的参考其他博主的内容去安装哦）上面这个就是用brew安装好的样子切换到spark3.5.1的目录下，然后再切换到 libexec/conf 下面先复制一份 spark-env.sh.template 文件然后重命名（用cp命令）为spark-env.sh。

Spark的安装（基于Mac）

热门推荐

AcceptedLin的博客

08-25

2万+

Spark的安装（基于Mac）一、简介 1.1内容在mac电脑上成功安装spark（不用预先安装hadoop），并在jupyter上使用pyspark来操作spark。 1.2 知识点 jdk的安装 spark和pyspark的安装虚拟环境的内核 1.3 环境本文所有的环境变量是在.bash_prof...

在Mac上安装Apache Spark最新版本

lengyudexin的博客

12-28

1045

在Mac上安装Apache Spark最新版本在Mac（macOS）上安装最新版本的Apache Spark的只需要五个简单步骤使用Homebrew在Mac OS上安装Apache Spark已经变得非常容易。你可以在短短5分钟内安装它并开始运行spark例子。有多种方法可以在Mac上安装Apache Spark。下面我解释了使用Homebrew在Mac OS上逐步安装Apache Spark，验证安装，运行spark-shell，并创建一个Spark DataFrame。在Mac OS上安装最新

Mac安装Spark

人不风流枉少年

02-25

4366

安装scala brew install scala scala -version 配置环境变量 export SCALA_HOME=/usr/local/Cellar/scala-2.13.1 export PATH=$PATH:$SCALA_HOME/bin 安装spark brew install spark 配置环境变量 export SPARK_HOME=/usr/loca...

Mac下安装spark，并配置pycharm-pyspark完整教程

shiyutianming的博客

08-21

9585

最近在学spark,先学习在Mac上安装spark，然后由于本人经常用Python，所以还要配置一下pyspark+pycharm,网上的教程大多不全，现将本人搭建的完整过程分享如下。参考： https://www.cnblogs.com/ostrich-sunshine/p/8414677.html https://www.jianshu.com/p/31c7f6a5fc7e http...

Mac环境下安装spark

weixin_40371587的博客

06-02

6301

由于spark是由scala编写，而scala又是基于jvm环境的变成语言，所有首先要保证你的环境已经安装了JDK81.安装scala环境brew install scala安装完成后检查scala -version查看是否安装成功2.安装spark环境http://spark.apache.org/downloads.html下载最新的spark包解压安装包tar -zxvf spark-2.3...

mac os环境搭建spark

lv836735240的专栏

10-23

1万+

1.eclipse按装scala ide 地址如下： http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site 2.spark环境搭建先安装scala brew install scala 安装完成后 scala -version查看是否安装成功 2.spark安装包下载:http://spark.