![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux shell
weixin_42094092
这个作者很懒,什么都没留下…
展开
-
使用shell调用hive sql实现hive表小文件合并
之前文章写到用sparksql实现hive表小文件合并,这里使用一下用shell调用hivesql来合并hive表文件,思路是一样的#!/bin/bashsource /etc/profile####################################################################################purpose:hive 表批量合并小文件#author:#date:2018/08/11#date: 2019/03/08 由原来循环串原创 2020-07-22 18:25:44 · 749 阅读 · 0 评论 -
使用shell监控,重启flink,sparkstreaming任务
在flink,sparkstreaming等实时任务难免在运行过程中各种各样的原因挂掉的情况,下面的代码在yarn平台使用shell来监控任务,如果挂掉就发送告警,并尝试重启任务#/bin/bash#==================================================#purpose: flink&spark任务运行监控,每一分钟检查一次本地进程和yarn任务进程#author:#date:2019/10/12#=====================原创 2020-07-22 18:15:47 · 872 阅读 · 0 评论