hive，sqoop定时执行脚本举例

最新推荐文章于 2024-07-18 00:57:34 发布

weixin_33749242

最新推荐文章于 2024-07-18 00:57:34 发布

阅读量515

点赞数

文章标签：大数据 python 数据库

原文链接：https://my.oschina.net/firstBlooded/blog/646970

版权

2019独角兽企业重金招聘Python工程师标准>>>

hive：

#! /bin/sh 
date="$1" 
enddate=`date -d "+1 day $2" +%Y-%m-%d` 
while [[ $date < $enddate  ]]   
do 
    echo "${date} HIVE 数据处理开始..." 
hive -e " 
#set mapred.reduce.tasks=2; 
load data inpath '/media/${date}/result/part-r-00000' into table tvdata; 
  
insert overwrite table result_column_min partition (tvdate='${date}') select 
tvcolumn,tvmin,avgnum,reachnum,tvrating,reachrating,marketshare from tvdata where tvdate='${date}';  
insert overwrite table result_column_hour partition (tvdate='${date}') select 
tvcolumn,concat(substr(tvmin,0,2),':00'),sum(avgnum)/count(*),sum(reachnum)/count(*),sum(tvrating)/count(*),sum(reach
rating)/count(*),sum(marketshare)/count(*) from result_column_min where tvdate='${date}'  
group by  tvcolumn,  concat(substr(tvmin,0,2),':00');  
insert overwrite table result_column_day partition (tvdate='${date}') select 
tvcolumn,sum(avgnum)/count(*),sum(reachnum)/count(*),sum(tvrating)/count(*),sum(reachrating)/count(*),sum(marketsh
are)/count(*) from result_column_min where tvdate='${date}' group by tvcolumn; 
exit; 
" 
 date=`date -d "+1 day $date" +%Y-%m-%d` 
 echo "${date} HIVE 数据处理结束..." 
done

sqoop：

#! /bin/sh 
date="$1" 
enddate=`date -d "+1 day $2" +%Y-%m-%d` 
while [[ $date < $enddate  ]]   
do 
    echo "${date} SQOOP 数据处理开始..." 
 sqoop export --connect jdbc:mysql://db.dajiangtai.net:3306/djtdb_tv --username username --password pwd  --table 
result_column_min --export-dir /user/hive/warehouse/result_column_min/mediadate=$date --input-fields-terminated-by 
'@'; 
 sqoop export --connect jdbc:mysql://db.dajiangtai.net:3306/djtdb_tv --username username --password pwd  --table 
result_column_hour --export-dir /user/hive/warehouse/result_column_hour/tv_date_min=$date 
--input-fields-terminated-by '@'; 
 sqoop export --connect jdbc:mysql://db.dajiangtai.net:3306/djtdb_tv --username username --password pwd  --table  
result_column_day --export-dir /user/hive/warehouse/result_column_day/tv_date_min=$date 
--input-fields-terminated-by '@'; 
 date=`date -d "+1 day $date" +%Y-%m-%d` 
 echo "${date} SQOOP 数据处理结束..." 
done

转载于:https://my.oschina.net/firstBlooded/blog/646970