spark的集群环境安装搭建-spark local模式

常用于本地开发测试，本地还分为local单线程和local-cluster多线程;
• 该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，直接运行在本地，便于调试，通常用来验证开发出来的应用程序逻辑上有没有问题。
• 其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。
• 如果是local[*]，则代表 Run Spark locally with as many worker threads as logical cores on your machine.

第一步：上传压缩包并解压

上传spark压缩包到/export/softwares并解压
将我们编译之后的spark的压缩包上传到/export/softwares路径下，然后进行解压
tar -zxf spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz -C /export/servers/

第二步：修改spark的配置文件

cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/conf
cp spark-env.sh.template spark-env.sh

第三步：启动验证进入spark-shell

启动验证
cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0
./bin/spark-shell --master local

退出spark shell客户端
:quit

第四步：运行spark自带的测试jar包

执行我们spark自带的程序jar包运算圆周率
bin/spark-submit
–class org.apache.spark.examples.SparkPi
–master local[2]
–executor-memory 1G
–total-executor-cores 2
/export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/examples/jars/spark-examples_2.11-2.2.0.jar
100
其中100表示迭代计算100次来求取我们圆周率的值，注意迭代计算的次数越多，最终求得的值就会越接近圆周率的值