Spark on Yarn集群环境搭建及example运行一篇搞定
环境准备
机器准备 Linux(CentOS7)虚拟机
10.58.12.170
10.58.12.171
10.58.10.129
tdops
软件版本
jdk 1.8.0_60
scala 2.11.12
hadoop 3.1.3
spark 2.4.6
livy 0.7.0
配置hosts
sudo vim /etc/hosts// 添加如下host配置
10.58.12.171 ailoan-vip-d-012171.hz.td
10.58.12.170 ailoan-vip-d
原创
2020-09-11 10:27:29 ·
469 阅读 ·
1 评论