- 博客(5)
- 收藏
- 关注
RSS订阅原创 通过列名称查询hbase中指定时间段的数据
# !/bin/bash# 功能:按时间查找相应列的数据量# 开发人:jhy# 输入参数据:$1库名 $2表名 $3列簇名 $4起始时间 $5截止时间 $6列名# ps：sh hbase_select.sh huihuahua app_call_records app '2018-03-01 00:00:00' '2018-03-28 00:00:00' customer_id# 按列名...
2019-05-07 14:45:25
6111
原创 Presto集群安装
简介：Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator（调度节点）和多个worker。 由客户端提交查询，从Presto命令行CLI提交到coordinator。 coordinator进行解析，分析并执行查询计划，然后分发处理队列到worker中。 1、环境准备 u Centosu Java8u Python3.xu Hadoop2.x 2、集群规划 u...
2018-07-02 18:06:49
397
原创 备份表数据，将历史数据加载到新表中（hive）
if [ $# -eq 2 ];then yesterday=`date -d yesterday +%Y-%m-%d` stat_date=${yesterday}elif [ $# -eq 3 ];then stat_date="$3"else echo "wrong arg[] number" exit 1ficur_date=`date +%Y%m%d`#取源...
2018-05-18 14:01:05
1734
原创 sqoop导入数据到hive ods层
# !/bin/bash# 功能:把源数据表加载到hive ods层# 输入参数据:$1 源数据库 $2 源表名 $3 增全量 $4加载数据日期 $5增量字段1 $6增量字段2 $增量字段3# 如果是全量 增量字段不需要输入# $4加载日期如果不输入 则认为是加载昨日数据# $5,$6,$7 根据实时情况输入# 例：sh sqoop_mysql_hive_table.sh athletics c_...
2018-05-18 13:57:24
1977
原创 自动生成azkaban Jobshell
#!/bin/bash# 自动生成azkaban job# wangag# 使用案例:sh crt_load_table_job.sh riskdbsname=$1function crt_table_job(){dset=`/usr/bin/mysql -ubigdata_dept -p4pAM#33FbzX@ -hrr-uf6761ln49aq9wd99.mysql.rds.aliyuncs....
2018-05-18 13:42:53
631
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人