macbook 安装spark以及和jupyter搭配使用

最新推荐文章于 2022-01-09 23:59:06 发布

人鱼线

最新推荐文章于 2022-01-09 23:59:06 发布

阅读量938

点赞数 1

分类专栏： bigdata

本文链接：https://blog.csdn.net/qfikh/article/details/103344857

版权

bigdata 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1.首先macbook需要安装java环境 (记得配置环境变量)

2.安装spark：

brew install apache-spark

安装成功 apache-spark的默认安装位置： /usr/local/Cellar/apache-spark/2.4.4

配置环境变量 sudo vim /etc/profile

# spark

export SPARK_PATH="/usr/local/Cellar/apache-spark/2.4.4"

export PATH="$SPARK_PATH/bin:$PATH"

使配置文件生效：

source /etc/profile

在Terminal中运行 pypspark 运行成功

3.安装pyspark： sudo -H pip install pyspark —user

4.配置pyspark的ipython环境

在jupyter notebook中使用pyspark，需要配置环境变量

➜ which python3

/Users/qfikh/anaconda3/bin/python3

# 配置pyspark的ipython环境  基于python3
export PYSPARK_PYTHON="/Users/qfikh/anaconda3/bin/python3"
export PYSPARK_DRIVER_PYTHON="/Users/qfikh/anaconda3/bin/ipython3"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
alias pysbook='$SPARK_PATH/bin/pyspark'

在terminal中输入pyspark或者pysbook(别名)，可以直接运行带spark的ipython notebook。创建一个ipynb的文件即可运行spark命令。