spark
andyguan01_2
这个作者很懒,什么都没留下…
展开
-
在CentOS6.9搭建Spark2.4.0集群
一、环境操作系统:CentOS6.9软件版本:Spark2.4.0集群架构:master:10.200.4.117(oracle02.auditonline.prd.df.cn)slave1:10.200.4.116(oracle03.auditonline.prd.df.cn)slave2:10.100.125.156(db01.rcas)集群已安装Hadoop2.6.5,现在需要...原创 2019-01-24 17:48:39 · 459 阅读 · 0 评论 -
查看Spark与Hadoop等其他组件的兼容版本
安装与Spark相关的其他组件的时候,例如JDK,Hadoop,Yarn,Hive,Kafka等,要考虑到这些组件和Spark的版本兼容关系。这个对应关系可以在Spark源代码的pom.xml文件中查看。一、 下载Spark源代码打开网址https://github.com/apache/spark,例如选择v2.4.0-rc5版本,再点击“Clone or download”按钮,点击下方的...原创 2019-01-22 14:26:31 · 12055 阅读 · 0 评论