Spark安装使用

第一步配置 环境变量

vim /etc/profile

export SPARK_HOME=/usr/local/spark2.2.1

export PATH=$PATH:$SPARK_HOME/bin

source /etc/profile

第二步配置spark环境

cp  spark-env.sh.template  spark-env.sh

vim  spark-env.sh

export SCALA_HOME=/usr/local/scala2.11

export JAVA_HOME=/usr/local/java/jdk1.8

export SPARK_HOME=/usr/local/spark2.2.1

export SPARK_EXECUTOR_MEMORY=1G

cp  slaves.template slaves

第三步测试

run-example   SparkPi   10

第四步使用spark-submit 执行jar

nohup spark-submit --master local[8] --class com.lemeng.spark.DateVideoPlaySpark --executor-memory 4g --executor-cores 4 /usr/local/bigdata/datevplay.jar　>>/data/spark/logs/datevplay.log 2>&1 &