Spark 任务停止后自动重启

[root@bigdata-1 ~]$ vim appRestart.sh

#! /bin/bash
status="RUNNING"
programStatus=`yarn application -list |grep YARN-NAME| awk '{print $6}'`
if [ "$status" == "$programStatus" ]
then
        #"程序正在运行..."
else
        echo `date "+%Y-%m-%d %H:%M:%S"` "程序已经结束..." >> error.log
        echo `date "+%Y-%m-%d %H:%M:%S"` "程序重新启动..." >> error.log
        echo -e "\n" >> error.log
        Spark 提交命令
fi

[root@bigdata-1 ~]$ chmod 777 appRestart.sh

配置定时任务调用重启脚本

*/1 * * * * appRestart.sh
很抱歉,由于篇幅限制和技术复杂度,无法在这里提供完整的B/S框架开发代码。但是,我可以提供一些思路和参考文献,帮助你更好地了解如何进行Ambari大数据平台自动化部署。 1. 了解Ambari Ambari是一个用于管理Hadoop集群的Web界面。Ambari提供了一个易于使用的Web界面来管理和监控Hadoop和相关组件的安装、配置和部署。通过Ambari,您可以自动化地配置和管理Hadoop集群,而不必编写复杂的脚本或使用命令行界面。 2. 开发框架 在开发B/S框架时,可以使用一些主流的前端框架和后端框架,例如: - 前端:React、Vue、Angular等 - 后端:Spring Boot、Django、Flask等 这些框架都有着丰富的生态和社区支持,可以为您的项目提供快速开发、易于维护的基础设施。 3. 集群部署 在进行集群部署时,您需要考虑以下几个方面: - 部署环境:确定您的应用程序将运行的环境,包括操作系统版本、网络拓扑结构等。 - 安装和配置Hadoop:使用Ambari API自动化安装和配置Hadoop组件。 - 部署其他组件:部署和配置其他组件,如Hive、Pig、Spark等。 - 部署插件:部署和配置Ambari插件,如Grafana、Prometheus等。 4. 管理和监控 在管理和监控方面,您可以使用Ambari提供的API来实现以下功能: - 管理集群状态:查询集群状态、停止、启动、重启集群。 - 监控集群状态:获取有关集群健康状况、节点状态、服务状态等的信息。 - 配置管理:查询和更改集群配置信息。 - 安全性管理:配置Kerberos、LDAP等安全性相关的组件。 5. spark任务提交 在提交Spark任务时,您可以使用以下方法: - 使用Ambari API创建和配置Spark应用程序。 - 使用Spark REST API提交Spark任务。 参考文献: - Ambari官方文档:https://cwiki.apache.org/confluence/display/AMBARI/Ambari+User+Guide - Spring Boot官方文档:https://spring.io/projects/spring-boot - React官方文档:https://reactjs.org/ - Spark官方文档:https://spark.apache.org/docs/latest/ - Flask官方文档:https://flask.palletsprojects.com/en/2.0.x/
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值