spark
Ryan_Tang️
未来可期
展开
-
Centos7搭建spark集群(高可用)
在这文章以前已经搭建了spark集群,但不是高可用只有一个master,这次是将集群的升级为高可用 spark集群搭建(非高可用)文章地址:https://blog.csdn.net/qq_45016628/article/details/107192428 拓扑结构 首先呢,要停掉我们之前的spark集群,在spark的sbin目录下运行 ./stop-all.sh 从node2上将 scala 和 spark 传给node1 scp -r scala211/ @node1:/`pwd` scp -r原创 2020-07-08 00:28:00 · 472 阅读 · 0 评论 -
Centos7搭建spark集群(非高可用)
拓扑结构 我们的hadoop的版本为2.7.1 所以要去找scala和spark与hadoop2.7.1相对应的版本 这里我使用的是scala2.11.12 和 spark 2.4.6 下载地址: https://www.scala-lang.org/download/2.11.12.html http://spark.apache.org/downloads.html 首先将scala和 spark上传到node2上 安装并配置scala 解压并且重命名 tar -xvf scala-2.11.12.tg原创 2020-07-07 23:51:03 · 410 阅读 · 0 评论