Hadoop集群运行Spark应用程序

启动Spark集群

先启动hadoop,再启动Spark,具体参考链接

对Linux系统对Spark开发环境配置_Matrix70的博客-CSDN博客

运行Spark安装好以后自带的样例程序SparkPi

spark-submit --class org.apache.spark.examples.SparkPi 
--master spark://master:7077 examples/jars/spark-examples_2.12-3.2.0.jar 
100 2>&1 | grep "Pi is roughly"

运行结果：

在独立集群中运行spark-shell

创建测试文件testspark

#在/opt下新建一个文件testspark,滚键盘
vi testspark
#上传此文件至hadoop文件系统根目录
hadoop fs -put /opt/testspark /
#查看文件
hadoop fs -ls /

启动spark-shell

#进入bin
cd /usr/local/spark/bin/
#bin目录下启动spark-shell
spark-shell --master spark://master:7077

 输入代码进行测试

#读文件
val textFile = sc.textFile("hdfs://master:9000/README.md")
#统计一下
textFile.count()
#查看
textFile.first()

独立集群管理Web界面查看应用的运行情况

浏览器进入下述链接

http://192.168.20.128:8080/