阿里云+腾讯云Centos 7.4上搭建spark2.3.1集群
本来以为很简单的配置,没想到中途出现了很多意想不到的问题,于是总结一波。
基本流程:
ssh免密码登录配置。(如果不配置,在启动集群时会要求你输入各个服务器的密码。如果节点过多,就GG了。)
配置jdk环境 (本人使用的是jdk 1.8)
下载并且配置Hadoop-2.6.0-cdh5.15.0 (最重要的配置,因为spark是以其hdfs为基础的)
下载并...
原创
2018-12-03 20:39:32 ·
523 阅读 ·
0 评论