Ambari
吸欧大王
Hinton, Lecun in the house❤
展开
-
Ambari在不升级情况下整合高版本spark2.x框架
一.背景介绍大家都知道spark在2.x之后实现了一系列更方便快捷的改进,spark目前社区已经更新到了2.3.1版本,笔者发现spark在2.2.x版本之后,对于spark-ml的功能有显著增强。而笔者用的大数据实验环境是基于Ambari搭建的,版本为2.2.2,对应采用的HDP的版本为2.4.x。笔者杯具的发现,这个版本对于spark2.x还不能完全支持,自然就无法使用spark2.x以后...原创 2018-07-21 22:10:41 · 13541 阅读 · 10 评论 -
Ambari升级失败回滚修复(数据库rollback+降级downgrade+bugfix)
一.背景介绍之前一直在使用Ambari的2.2.18版本,作者在一次试图升级的过程中因操作不当导致了升级失败。几经周折,最终实现回滚操作,鉴于目前关于ambari的升级失败回滚及数据库rollback的资料很少很零散,笔者总结了这篇文章,和大家分享。遇到升级失败的问题,请仔细阅读本文,应该都能找到解决办法。二.误操作2.2到2.4升级是需要分开升级ambari-server/agent...原创 2018-12-05 09:33:58 · 4271 阅读 · 0 评论 -
Idea开发Spark直接以yarn-cluster模式提交到Ambari集群的解决方案
一.背景介绍许多中小型企业使用Ambari去管理自己的大数据集群,以Spark作为主要的计算框架去实现数据的分析。通用的Spark的开发调试流程是往往需要以下流程:Idea上进行开发,并使用spark local模式进行调试。 打包程序放到测试分布式环境上进行spark on yarn client模式进行调试。 使用spark on yarn cluster模式进行调试,成功后在正式...原创 2019-06-18 18:17:44 · 2051 阅读 · 5 评论