宜信数据中台
记录宜信数据中台开源组件的安装、使用心得
凉茶冰
我不想被后浪拍在沙滩上。
展开
-
moonbox在hdp的基础上使用独立spark2.2安装遇到的问题记录
目录前言问题描述moonbox的配置项说明moonbox-evn.sh配置moonbox-defaults.conf配置slaves配置项Spark2.2的安装及部署spark-env.shspark-defaults.confslaves遇到的问题前言使用CDH6.0.0搭建的集群环境,虽然默认选择的spark2.2,但是依然是无法直接使用mo...原创 2019-11-29 16:50:43 · 615 阅读 · 1 评论 -
moonbox使用CDH6.0.0部署记录
目录前言1.moonbox启动后,spark on yarn 任务运行失败2.netty包冲突3.spark相关包4.关于rest方式提交时候影响的jar5.其他前言 moonbox目前最新版本是0.3.0,官方的文档上在环境准备这一块明确指出仅支持Apache Spark2.2.0 已安装Apache Spark 2.2.0 (此版本仅支持A...原创 2019-07-24 10:06:25 · 735 阅读 · 1 评论