bash脚本
zhiliang-chen
大数据工程师
展开
-
从mysql导入hive脚本
#!/bin/bash#全量更新kn1_base_conf_group#环境设置:u 不存在的变量报错;e 发生错误退出;pipefail 管道有错退出set -euo pipefail#########要更改变的变量########mysql数据库信息MYSQL_HOST="192.168.1.138"MYSQL_PORT="63751"MYSQL_USER='user'M...原创 2019-11-11 10:08:09 · 472 阅读 · 0 评论 -
impala建表脚本
IMPALA="sudo -u hdfs impala-shell -q"db_name="chenzl"table_name="kn1_base_conf_group"$IMPALA<< EOFUSE ${db_name};DROP TABLE ${table_name};CREATE EXTERNAL TABLE ${table_name}(day_key ...原创 2019-11-11 10:05:40 · 1615 阅读 · 0 评论 -
hive建表脚本
HIVE="sudo -u hdfs hive"db_name="chenzl"table_name="kn1_base_conf_group"$HIVE<< EOFUSE ${db_name};DROP TABLE ${table_name};CREATE EXTERNAL TABLE ${table_name}(day_key dat...原创 2019-11-11 09:55:57 · 911 阅读 · 2 评论 -
批量指定impalad的执行主机
#!/bin/bash#批量指定impalad的执行主机DIR="/home/chenzl/data/BI"LOG="/home/chenzl/tmp/log.log"rm -f $LOG`touch $LOG`find $DIR -name "*.sh" | while read f; do # 有HIVE_DB字符串 grep "HIVE_DB" $f &g...原创 2019-11-11 09:47:23 · 206 阅读 · 0 评论 -
在hive脚本末尾添加impala REFRESH
在impala shell脚本的末尾,添加REFRESH db.tbname#!/bin/bash#有HIVE_DB和HIVE_TABLE变量的sh文件添加impala 命令DIR="/home/chenzl/data/BI"LOG="/home/chenzl/tmp/log.log"rm -f $LOG`touch $LOG`find $DIR -name "*.sh" |...原创 2019-11-11 09:36:20 · 1318 阅读 · 0 评论