电商用户行为分析大数据平台相关系列7-spark安装

1、Spark安装

1.1、下载、解压

1.2、配置环境变量（/etc/profile或者~/.bashrc），环境变量生效

1.3、配置spark-env.sh

• spark-env.sh位于 $SPARK_HOME/conf
• cp spark-env.sh.template spark-env.sh
• 配置如下

export JAVA_HOME=/usr/java/latest
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

1.4、完成安装

由于实战教程是基于yarn的spark集群，不需要像standlone模式，给每台服务器安装spark，使用spark的主从结构服务，一切资源调度都是通过yarn来完成。

1.5、验证yarn-client模式

$SPARK_HOME/bin/spark-submit \ –class org.apache.spark.examples.JavaSparkPi \ –master yarn-client \ –num-executors 4 \ –driver-memory 1g \ –executor-memory 1g \ –executor-cores 4 \ $SPARK_HOME/lib/spark-examples-1.5.1-hadoop2.4.0.jar \

1.6、验证yarn-cluster模式

$SPARK_HOME/bin/spark-submit \ –class org.apache.spark.examples.JavaSparkPi \ –master yarn-cluster \ –num-executors 4 \ –driver-memory 1g \ –executor-memory 1g \ –executor-cores 4 \ $SPARK_HOME/lib/spark-examples-1.5.1-hadoop2.4.0.jar \

2、坑自己

2.1、验证时抛异常：java.lang.ClassNotFoundException: org.apache.spark.example.JavaSparkPi

这个问题整整搞了我两个晚上，各种找资料，甚至还发帖求助，估计有大神心里默默的骂了N句。

追其原因，就是太懒，喜欢直接拷贝别人代码，而且还不检查导致。就在刚才，终于在忍无可忍下，我将spark的example包减压，发现问题，原来是类名拼写错误导致。
错误拼写：org.apache.spark.example.JavaSparkPi（jar包中确实没有这个类，尴尬的要命啊）
正确拼写：org.apache.spark.examples.JavaSparkPi（就是少拼写了一个s）

所以以后还是要多相信自己，多动手。

注释：本文中所有$SPARK_HOME表示本人自己在各个服务器的SPARK安装路径

该系列笔记：
1. 电商用户行为分析大数据平台相关系列1-环境介绍
2. 电商用户行为分析大数据平台相关系列2-HADOOP环境搭建
2. 电商用户行为分析大数据平台相关系列3-HIVE安装
3. 电商用户行为分析大数据平台相关系列4-ZOOKEEPER安装
4. 电商用户行为分析大数据平台相关系列5-KAFKA安装
5. 电商用户行为分析大数据平台相关系列6-flume安装
6. 电商用户行为分析大数据平台相关系列7-spark安装