Spark
IT雪
run
展开
-
Spark 2.0分布式集群环境搭建
目录1、安装Hadoop并搭建好Hadoop集群环境2、安装Spark3、配置环境变量4、Spark配置5、启动Spark集群6、关闭Spark集群1、安装Hadoop并搭建好Hadoop集群环境Spark分布式集群的安装环境,需要事先配置好Hadoop的分布式集群环境。2、安装Spark这里采用3台机器(节点)作为实例来演示如何搭建Spark集群,...原创 2019-03-23 14:53:20 · 235 阅读 · 0 评论 -
spark页面8080端口访问出错的问题
我在安装完spark集群后,在主节点上查看spark的UI界面:http://master:8080页面访问不了!!!通过上网上查看。发现8080端口会和其他端口共用,即会产生冲突,其实就是端口占用了。因此我们只需要将spark配置文件中的访问端口改成其他的就ok了!因此,我们打开主节点的配置文件:“/usr/local/spark/sbin/start-master.sh”文件:vim...原创 2019-03-23 15:08:37 · 6206 阅读 · 1 评论 -
在集群上运行Spark应用程序
启动Spark集群请登录Linux系统,打开一个终端。启动Hadoop集群cd /usr/local/hadoop/sbin/start-all.sh启动Spark的Master节点和所有slaves节点cd /usr/local/spark/sbin/start-master.shsbin/start-slaves.sh独立集群管理器(1)在集群中运行应用程序...转载 2019-03-23 16:06:48 · 1674 阅读 · 0 评论