自动生成azkaban Jobshell

最新推荐文章于 2024-04-27 11:28:47 发布

浩毅

最新推荐文章于 2024-04-27 11:28:47 发布

阅读量674

点赞数

文章标签： linux

本文链接：https://blog.csdn.net/weixin_42219734/article/details/80363239

版权

这是一个bash脚本，用于自动生成Azkaban Jobshell，以连接MySQL数据库并创建Sqoop到Hive的数据同步任务。脚本首先获取数据库中的表名，然后根据表名生成相应的Job配置，并保存到指定目录。使用了mysql命令行工具来查询数据库信息，awk进行数据处理，最后将配置写入.job文件。

摘要由CSDN通过智能技术生成

#!/bin/bash
# 自动生成azkaban job
# ***
# 使用案例:sh crt_load_table_job.sh risk

dbsname=$1

function crt_table_job()
{
dset=`/usr/bin/mysql -u*** -p*** -h*** --default-character-set=utf8 -Dinformation_schema -N -e"
select concat( 'type=command', '&','command= sh /disk4/azkaban/shell/huihuahua/sqoop_mysql_hive_table_huihuahua.sh '
,TABLE_SCHEMA,' ',table_name,' a','&', 'retries=3','&','retry.backoff=120000','#',table_name,'#',TABLE_SCHEMA)
from (
select table_name,TABLE_SCHEMA
from (select table_name,TABLE_SCHEMA from information_schema.tables where table_schema='$dbsname' and table_name='$table_name') t1
)tm;
"`

cfgname=`echo $dset | awk -F'#' '{print $1}'`
cfgtab&