脚本
文章平均质量分 62
皎夜既明
这个作者很懒,什么都没留下…
展开
-
Hbase删除命名空间脚本
Hbase没办法直接删除namespace,需要先把命名空间下的表都删了才能删除,网上没找到现成的脚本,所以自己写了个,如果有问题,欢迎指出来。运行时需要传入namespace的名称。#!/bin/bash#读取命名空间下的所有表名list_tables(){/opt/newland/core/hbase/bin/hbase shell << EOFlist_namespace_tables "$1"EOF}#删除该命名空间下的表drop_tables(){/opt/new原创 2020-10-13 11:27:47 · 2545 阅读 · 0 评论 -
利用动态分区、full join以及coalesce函数将ODS层数据处理成DWD层数据
ods层数据抽取请参考我的另一篇文章sqoop自定义日期采集数据脚本假设在已经导入ODS层的情况下,我现在需要生成一张对应的DWD层表,即不重复的最新数据的表,因为ODS层默认导入的是昨天一天内更新的数据,而我们的分区是create_time转换的日期,所以我们需要更新DWD层里面对应的老数据以及添加昨天的新数据。下面的表名字段名等都是例子,不规范,请按自己公司的标准命名。set hive.default.fileformat=Orc;set hive.exec.dynamic.partition原创 2020-09-11 16:20:50 · 622 阅读 · 0 评论 -
sqoop自定义日期采集数据脚本
#!/bin/bashsource /etc/profiledate1=$1date2=$2if [ ! -n "$1" ] ;then echo "请输入起始日期"fiif [ ! -n "$2" ] ;then echo "请输入结束日期"fi#hive配置#账号名account=root#hive的数据库名hive_database=trade_ods#hive的表明hive_table=trade#昨天的日期,作为分区yestday=`date原创 2020-09-11 15:43:35 · 657 阅读 · 0 评论 -
sqoop每天增量脚本
#!/bin/bashcur_date=`date +%Y-%m-%d`table=paydatebase=odshive_table=paydir=bigdata/public/odsif hdfs dfs -test -e /$dir/$tablethen dates=$(hdfs dfs -ls /$dir/$table) lastest=$(...原创 2018-08-18 17:38:49 · 3459 阅读 · 0 评论 -
批量备份mysql数据库以及将mysql建表语句改为hive建表语句
#!/bin/bash############功能说明部分########################################脚本功能是按照每天对mysql数据库中所有表进行备份,备份文件为:数据库名-表名.sql#实例:backup/2016-08-25/uic-test.sql#测试数据还原实例:mysql -uroot -pprism%didi%dev%135 -h...原创 2019-07-25 17:47:37 · 986 阅读 · 0 评论