本文档详细介绍了如何部署Spark 2.1.0集群，包括从官网下载软件包、在集群中分布安装、启动master和worker、使用web UI监控、启动spark-shell、运行SparkPi示例以及Spark SQL整合Hive的步骤。通过这些步骤，你可以成功建立和管理Spark集群，并执行Spark任务。
1、从官网下载2.1.0版本的Spark，spark-2.1.0-bin-hadoop2.7.tgz；
2、拷贝都集群中各个节点，解压到特定目录下；
3、启master服务:
# ./sbin/start-master.sh
master服务启来之后可以看到master的URL地址(或者在日志中查看)
spark://Spark01:7077
4、启所有的Worker，并把worker链接都master上
# ./sbin/start-slave.sh <master-spark-URL>
5、访问master的web UI，在页面中可以看到集群中的woker及资源情况
http://172.20.13.36:8080/
访问具体worker的UI
http://172.20.13.43:8081/
6、启动spark-shell
# ./bin/spark-shell --master spark://Spark01:7077 --executor-memory 10000m --executor-cores 4
最低0.47元/天 解锁文章
扫一扫
4764
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
