BigData | 从头搭建一个Spark环境(MacOS版)

本文详细介绍了在MacOS系统中搭建Spark环境的步骤,包括安装JDK、Python3、Hadoop、Scala,并配置相关环境变量,以及启动和关闭Hadoop服务。每个步骤都有明确的操作指南和故障排查提示,适合初学者跟随操作。
摘要由CSDN通过智能技术生成

? Index

  • Step1:安装JDK

  • Step2:安装Python3

  • Step3:安装Hadoop

  • Step4:安装Scala

  • Step5:安装Spark


? Step1:安装JDK

Spark的job都是JVM(Java Virtual Machine)的进程,所以在安装Spark之前需要确保已经安装好了JDK(Java Developer Kit)

在终端Shell输入:java -version

若返回某个Java的版本,代表已经OK了;

不然,需要自己上网下载安装JDK,方法如下:

1)登陆Oracle官网的下载页面:https://www.oracle.com/technetwork/java/javase/downloads/jdk12-downloads-5295953.html

2)选择自己电脑版本的安装包下载并且安装

640?wx_fmt=png

3)找到自己的JDK根目录

JDK根目录:/Library/Java/JavaVirtualMachines/jdk-12.0.1.jdk/Contents/Home (这个很重要,后面也会用到的)

(一般说上面这里,不然自己打开Finder-设备-Macintosh Hd-资源库-Java—去找)

4)打开终端Shell

  • 如果你是第一次配置,请输入touch .bash_profile创建一个.bash_profile的隐藏配置文件

  • 否则,输入open -e .bash_profile编辑现有环境变量

5)打开编辑窗口,输入如下配置,然后保存关闭该窗口

JAVA_HOME= JDK根目录
PATH=$JAVA_HO
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值