bash脚本
zhiliang-chen
大数据工程师
展开
-
从mysql导入hive脚本
#!/bin/bash #全量更新kn1_base_conf_group #环境设置:u 不存在的变量报错;e 发生错误退出;pipefail 管道有错退出 set -euo pipefail #########要更改变的变量####### #mysql数据库信息 MYSQL_HOST="192.168.1.138" MYSQL_PORT="63751" MYSQL_USER='user' M...原创 2019-11-11 10:08:09 · 484 阅读 · 0 评论 -
impala建表脚本
IMPALA="sudo -u hdfs impala-shell -q" db_name="chenzl" table_name="kn1_base_conf_group" $IMPALA<< EOF USE ${db_name}; DROP TABLE ${table_name}; CREATE EXTERNAL TABLE ${table_name} ( day_key ...原创 2019-11-11 10:05:40 · 1626 阅读 · 0 评论 -
hive建表脚本
HIVE="sudo -u hdfs hive" db_name="chenzl" table_name="kn1_base_conf_group" $HIVE<< EOF USE ${db_name}; DROP TABLE ${table_name}; CREATE EXTERNAL TABLE ${table_name} ( day_key dat...原创 2019-11-11 09:55:57 · 934 阅读 · 2 评论 -
批量指定impalad的执行主机
#!/bin/bash #批量指定impalad的执行主机 DIR="/home/chenzl/data/BI" LOG="/home/chenzl/tmp/log.log" rm -f $LOG `touch $LOG` find $DIR -name "*.sh" | while read f; do # 有HIVE_DB字符串 grep "HIVE_DB" $f &g...原创 2019-11-11 09:47:23 · 218 阅读 · 0 评论 -
在hive脚本末尾添加impala REFRESH
在impala shell脚本的末尾,添加REFRESH db.tbname #!/bin/bash #有HIVE_DB和HIVE_TABLE变量的sh文件添加impala 命令 DIR="/home/chenzl/data/BI" LOG="/home/chenzl/tmp/log.log" rm -f $LOG `touch $LOG` find $DIR -name "*.sh" |...原创 2019-11-11 09:36:20 · 1331 阅读 · 0 评论