shell
fanlying
这个作者很懒,什么都没留下…
展开
-
调用datax抽取的shell脚本和对应JSON
一、全量抽取#!/bin/bashset -e#取出当前执行文件名,既表名file_name=`basename $0 .sh`#json文件名json_name=${file_name}.json#当前目录路径dir_path=`dirname $0`cd ${dir_path}hive -e "truncate table bigdata_ods.${file_na...原创 2019-10-31 14:39:04 · 3739 阅读 · 0 评论 -
批量删除hive表分区
执行shell脚本批量删除hive表分区执行命令: sh delete_partitions.sh schema.table_name 2017-11-01 2017-12-01delete_partitions.sh脚本如下:#!/bin/shif [ $# == 3 ]; then begin_date=`date -d "+0 day $2" +%Y-...原创 2017-12-01 16:28:26 · 19415 阅读 · 1 评论 -
shell脚本实现根据离散日期划分日期区间
笔者在工作中需要动态传入日期参数执行脚本,但是将多个日期一个一个传入会降低执行效率,故根据一定时间段将日期聚合划分成区间段可以减少传参执行的次数。此例子以7天为范围聚合日期到区间段,可以根据实际需要改进。案例中的日期文件date.txt中的日期如下:2018-01-022018-07-012018-07-112018-07-152018-07-172018-07-132017...原创 2018-07-19 16:48:23 · 740 阅读 · 0 评论 -
shell脚本处理周相关的日期计算
#!/bin/bashtimer_start=`date "+%Y-%m-%d %H:%M:%S"`# 计时器timediff(){ duration=$(($(date +%s -d "${3} ${4}") - $(date +%s -d "${1} ${2}"))) echo "开始时间:${1} ${2}" echo "结束时间:${3} ${4}" ...原创 2019-03-13 14:55:02 · 1805 阅读 · 1 评论 -
增量抽取到hive过程中的监控
前提:分区字段统一为ds,适用于常规增量抽取,通过创建和更新时间抽取。#!/bin/bash# 适用于常规增量抽取,通过创建和更新时间抽取# 手工填写以下参数:# 分区表达式,hive语法:pt_expr# 主键字段,联合主键写id1,id2,id3:pk# 非分区表增量数据量阈值,分区表不用管:inc_cntset -e timer_start=`date "+%Y-...原创 2019-07-08 17:53:41 · 853 阅读 · 0 评论