Spark --最全的安装部署 local本地模式spark安装 spark--standalone集群安装 spark-HA高可用安装 spark on yarn安装

安装部署之前，先来看看为什么要安装它这个版本！！！

我们安装的是 Spark2.2.0

                    目前企业中使用最多的稳定版

使用Apache版还是CDH版?

1.Apache版直接下载官方编译好的基于Apache Hadoop的Spark即可

2.自己下载Spark源码基于CDH Hadoop重新编译

因为CDH5.14版 Spark基于Spark1.6版本较低,且为了推广自家的Impala对Spark SQL进行了阉割,所以要重新编译

课程资料中已经给大家提供了编译好的CHD Spark,当然也可以根据资料自己编译

(如果自己编译要求网络环境较好,使用提供的软件、仓库,细心耐心操作,耗时1个半小时左右)

★注意1:

大家之前安装的如果是CDH的Hadoop那么安装Spark的时候使用红线标出的重新编译之后的CDH版Spark即可

 

干货来了！！！

 

local本地模式-Spark初体验

●下载Spark安装包

下载地址：http://spark.apache.org/downloads.html

 

●解压重命名

cd /export/servers

tar spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz

mv spark-2.2.0-bin-2.6.0-cdh5.14.0 spark

●注意：

如果有权限问题，可以修改为root，方便学习时操作，实际中使用运维分配的用户和权限即可

chown -R root /export/servers/spark

chgrp -R root /export/servers/spark  

 

●解压目录说明:

bin        可执行脚本

conf       配置文件

data       示例程序使用数据

examples   示例程序

jars       依赖 jar 包

python     pythonAPI

R          R 语言 API

sbin       集群管理命令

yarn       整合yarn需要

 

 启动spark-shell

●开箱即用

直接启动bin目录下的spark-shell:

./spark-shell 

 

●spark-shell说明

1.直接使用./spark-shell 

表示使用local 模式启动，在本机启动一个SparkSubmit进程

2.还可指定参数 --master，如：

spark-shell --master local[N] 表示在本地模拟N个线程来运行当前任务

spark-shell --master local[*] 表示使用当前机器上所有可用的资源

<