Spark下载安装(JVM)
- 下载
Spark下载地址
对于已有Hadoop集群,直接下载对应版本
(查看Hadoop版本linux命令:hadoop version)
可以直接下载解压,也可以在虚拟机中进行,我采用后者
-
解压
如果出现解压失败
gzip: stdin: not in gzip format
tar: Child returned status 1
tar: Error is not recoverable: exiting now
可能是下载时安装包损坏,重新下载直到看见下载100%的进度条 -
Spark的目录
其中Spark shell具有重要意义,它具有很强的交互性和实时性,使你可以处理分布在集群上的数据。他能够
1、将数据加载到节点的内存中,使得分布式处理可以在秒级完成。
2、可以实现快速迭代计算、实时查询和分析。
Spark shell分为两类:
Python shells(在bin/pyspark)
Scala shells(在bin/spark-shell) -
本文以Scala shells为重点
成功启动长这样
(持续更新ing)