mac单机部署spark

前提：

使用的是bash

mac操作系统自带软件已经有 java 和 python

配置好JAVA_HOME环境变量

若是linux需要先安装此两个软件

步骤一：安装scala

scala-2.12.3 下载地址：https://downloads.lightbend.com/scala/2.12.3/scala-2.12.3.tgz

1. 解压scala-2.12.3.tgz

进入下载的目录，执行下面指令

# tar -zxf scala-2.12.3.tgz

完成后会有一个新的目录scala-2.12.3

重命名这个目录

# mv scala-2.12.3 scala

2. 移动 scala 到个人安装软件的目录，本人是 /usr/local

# sudo mv spark /usr/local （需要使用root权限，输入个人密码吧）

3. 设置环境变量，修改 .bash_profile （没有就自己新建一个吧）

# vim ~/.bash_profile

添加新的一行

export SCALA_HOME=/usr/local/scala

4. 修改path

# vim /etc/paths

添加新的一行

/usr/local/scala/bin

Scala安装完成

重新加载环境变量

# source ~/.bash_profile

5. 测试是否安装成功

重启命令行工具，然后执行下面命令

# scala

此时如果进入scala命令工具则成功了，退出只需要输入 :q

步骤二：安装单机spark

1. 下载spark

下载地址：https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.6.tgz

2. 解压、重命名、移动到软件安装目录（参考步骤一）

# tar -zxf spark-2.2.0-bin-hadoop2.6.tgz

# mv spark-2.2.0-bin-hadoop2.6 spark

# sudo mv spark /usr/local

3. 修改path（参考步骤一）

新增两行

/usr/local/spark/bin

/usr/local/spark/sbin

4. 测试是否安装成功

重启命令行工具，然后执行下面命令

# pyspark

结果如下

➜  ~ pyspark
Python 2.7.10 (default, Feb  7 2017, 00:08:15)
[GCC 4.2.1 Compatible Apple LLVM 8.0.0 (clang-800.0.34)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17/09/29 12:13:19 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/09/29 12:13:26 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.0
17/09/29 12:13:26 WARN ObjectStore: Failed to get database default, returning NoSuchObjectException
17/09/29 12:13:26 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/


Using Python version 2.7.10 (default, Feb  7 2017 00:08:15)
SparkSession available as 'spark'.
>>>

恭喜

退出只要 按 ctrl + d