MAC系统下安装pyspark

在mac下搭建pyspark需要安装的有：

• 1.JAVA JDK
• 2.Scala
• 3.apache-spark
• 4.Hadoop(可选)
• 5.pyspark

安装上面几个可以选择去官网下载安装包，解压后再自行配置环境变量。也可以选择使用brew进行安装，比较方便的一种安装方式以下介绍brew的安装方式
如果你的电脑上没有安装brew的话，你只需在终端要执行以下步骤：

从这里下载java-jdk后解压安装即可，剩下的通过brew工具都可以安装

安装brew

/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

2.使用brew安装所需依赖

brew install scala
brew install apache-spark
brew install hadoop

3.安装完毕之后可以选择配置环境变量
使用vim ~/.bash_profile进入环境变量配置文件以设置环境变量
具体如下：

  # HomeBrew
   export HOMEBREW_BOTTLE_DOMAIN=https://mirrors.tuna.tsinghua.edu.cn/homebrew-bottles
   export PATH="/usr/local/bin:$PATH"
   export PATH="/usr/local/sbin:$PATH"
  # HomeBrew END
 
  #Scala
  SCALA_HOME=/usr/local/scala
  export PATH=$PATH:$SCALA_HOME/bin
  # Scala END
 
  # Hadoop
  HADOOP_HOME=/usr/local/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin
  # Hadoop END
 
  # spark
  export SPARK_PATH="/usr/local/Cellar/apache-spark/3.0.0"
  export PATH="$SPARK_PATH/bin:$PATH"
  # Spark End

4.使虚拟环境生效

source ~/.bash_profile```

-5. 最后进行安装pyspark就OK啦，使用:

pip install pyspark

-6. 然后打开jupyter notebook
在文件的最上面添加以下代码，目的是寻找并创建sparksession对象，以便调用spark进行计算。

import findspark
findspark.init()
from pyspark import SparkContext
sc = SparkContext()
from pyspark.sql import SparkSession

初始化spark会话

spark = SparkSession.builder.getOrCreate()

然后就可以愉快的使用pyspark了