在mac下搭建pyspark需要安装的有:
- 1.JAVA JDK
- 2.Scala
- 3.apache-spark
- 4.Hadoop(可选)
- 5.pyspark
安装上面几个可以选择去官网下载安装包,解压后再自行配置环境变量。也可以选择使用brew进行安装,比较方便的一种安装方式以下介绍brew的安装方式
如果你的电脑上没有安装brew的话,你只需在终端要执行以下步骤:
从这里下载java-jdk后解压安装即可,剩下的通过brew工具都可以安装
安装brew
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"
2.使用brew安装所需依赖
brew install scala
brew install apache-spark
brew install hadoop
3.安装完毕之后可以选择配置环境变量
使用vim ~/.bash_profile进入环境变量配置文件以设置环境变量
具体如下:
# HomeBrew
export HOMEBREW_BOTTLE_DOMAIN=https://mirrors.tuna.tsinghua.edu.cn/homebrew-bottles
export PATH="/usr/local/bin:$PATH"
export PATH="/usr/local/sbin:$PATH"
# HomeBrew END
#Scala
SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin
# Scala END
# Hadoop
HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
# Hadoop END
# spark
export SPARK_PATH="/usr/local/Cellar/apache-spark/3.0.0"
export PATH="$SPARK_PATH/bin:$PATH"
# Spark End
4.使虚拟环境生效
source ~/.bash_profile```
-5. 最后进行安装pyspark就OK啦,使用:
pip install pyspark
-6. 然后打开jupyter notebook
在文件的最上面添加以下代码,目的是寻找并创建sparksession对象,以便调用spark进行计算。
import findspark
findspark.init()
from pyspark import SparkContext
sc = SparkContext()
from pyspark.sql import SparkSession
初始化spark会话
spark = SparkSession.builder.getOrCreate()
然后就可以愉快的使用pyspark了