spark

最新推荐文章于 2023-02-20 20:35:18 发布

chenyx90

最新推荐文章于 2023-02-20 20:35:18 发布

阅读量494

点赞数 1

本文链接：https://blog.csdn.net/chenyx90/article/details/48142547

版权

博客内容讲述了Spark的安装过程，提到了在配置完成后启动遇到的错误。通过指定master节点为'hadoop-master'，可以访问Spark集群的web管理页面。同时，可以通过http://hadoop-master:4040/查看Spark的WEBUI页面。

摘要由CSDN通过智能技术生成

具体安装过程请主要参考http://stark-summer.iteye.com/blog/2173219和http://www.open-open.com/lib/view/open1419490748562.html

安装spark，在配置完成，在spark-1.2.0-bin-hadoop2.4/sbin下运行./start-all.sh启动的时候，发生了这个错误

mkdir: cannot create directory `/usr/local/spark/spark-1.3.1-bin-hadoop2.6/sbin/../logs': Permission denied

解决方法是在spark的安装目录下边，用语句sudo chown -R -v ckj1：hadoop spark-1.2.0-bin-hadoop2.4,需要注意的是，三个节点均需要执行此操作，具体见这篇文章http://www.uml.org.cn/sjjm/201506232.asp?artid=16536

后来直接用拷贝的方式把在master上边配置好的spark拷贝到另外两台节点上，结果在执行启动命令的时候却出错说slave1和slave2:failed to launch org.apache.spark.deploy.worker.worke以及JAVA_HOME is not set。

进入到这两台的配置文件(spark-env.sh)当中查看,发现配置文件竟然为空，拷贝的时候竟然没有把配置文件拷贝过来，还没想明白这是为什么

因为我的master节点名字叫做hadoop-master，所以可以用hadoop-master:8080进来spark集群的web管理页面，访问几个节点的状态，进入spark的bin目录，启动spark-shell控制台。访问http://hadoop-master:4040/，我们可以看到spark WEBUI页面