Spark-local本地环境搭建

注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6815385772254822919/

承接上一个文档《Spark源码编译》

解压spark编译好的压缩包

 

sudo tar -zxvf spark-2.0.2-bin-2.7.3.tgz -C /opt/bigdata/spark

 

 

修改配置文件

 

添加内容

 

启动hdfs

namenode和datanode

测试spark自带的例子

计算圆周率

./bin/run-example SparkPi

 

 

 

第二个测试

./bin/run-example SparkPi 100

 

启动sparkshell

 

退出spark shell的命令是 :quit

 

修改日志打印级别(可选)

 

修改文件

 

修改log4j.logger.org.apache.spark.repl.Main=INFO这句话就可以了