hadoop
Zhikuan53
大数据小白
展开
-
shell定时脚本监控yarn上running任务并重新提交
假设现在有一个flink任务在yarn上常态化运行,为了在任务失败时能重新运行,可以写一个定时脚本去监控#!/bin/bashyarn application -list -appStates RUNNING 2>/dev/null | grep application_ |grep Flink | awk '{print $1}' > yarn_running.txtapps=$(cat yarn_monitor.txt)running_app=`yarn application原创 2020-12-31 16:21:37 · 1328 阅读 · 0 评论 -
sqoop import/export参数说明
1.import/export通用选项 含义说明–connect 指定JDBC连接字符串–connection-manager 指定要使用的连接管理器类–driver 指定要使用的JDBC驱动类–hadoop-mapred-home 指定$HADOOP_MAPRED_HOME路径–help 打印用法帮助信息–password-file 设置用于存放认证的密码信息文件的路径-P 从控制台读取输入的密码–password 设置认证密码–username 设置认证用原创 2020-12-22 10:42:50 · 476 阅读 · 0 评论 -
cdh namenode异常停止,报错:Error: flush failed for required journal (JournalAndStream(mgr=QJM to
大概报错信息如下:2020-12-09 14:07:56,509 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1: Error: flush failed for required journal (JournalAndStream(mgr=QJM to [xxx:8485, xxx:8485, xxx:8485], stream=QuorumOutputStream starting at txid 74798133))2020-原创 2020-12-09 18:00:11 · 1092 阅读 · 0 评论