每日定时导入hive数据仓库的自动化脚本

最新推荐文章于 2023-04-11 21:01:40 发布

kwu_ganymede

最新推荐文章于 2023-04-11 21:01:40 发布

阅读量4.7k

点赞数 1

分类专栏： Hive 文章标签：数据仓库自动化脚本

本文链接：https://blog.csdn.net/kwu_ganymede/article/details/49095573

版权

本文介绍了如何创建一个shell脚本，用于每日定时从本地磁盘加载数据到Hive的stage和ods表中。脚本首先创建临时表tracklog_tmp，然后从多个数据文件中加载数据，并根据日期分区插入到tracklog表中，最后删除临时表。通过crontab设置定时任务，确保每天07:25执行此脚本。

摘要由CSDN通过智能技术生成

[Author]: kwu

每日定时导入hive数据仓库的自动化脚本

创建shell脚本，创建临时表，装载数据，转换到正式的分区表中：

[plain]view plaincopy 
   
 #!/bin/sh  
 # upload logs to hdfs  
   
 yesterday=`date --date='1 days ago' +%Y%m%d`  
   
 hive -e "  
 use stage;  
 create table tracklog_tmp (  

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

kwu_ganymede

关注关注

1
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

基于Hive的河北新冠确诊人数分析系统的设计与实现

程序猿麦小七

02-20

1857

临近学期结束，还是毕业设计，你还在做java程序网络编程，期末作业，老师的作业要求觉得大了吗?接着执行sql，sql会执行clean.sql里面的加工数据的hql语句，会将清理好的数据导入*Ed的清洁hive表中。

Hive的数据导入——Load语句

实践求真知

12-05

7091

一语法 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1,partcol2=val2 ...)] 二表 hive> desc t2; OK tid int tname string age int Time taken: 2.176

参与评论您还未登录，请先登录后发表或查看评论

hive导入导出数据自动化的shell脚本

lijian972的博客

03-28

3319

1.从mysql导入到hive的ods层的shell脚本传参表示要导入的数据分期日期，sqoop导入，实例： #!/bin/bash export SQOOP_HOME=/usr/bin/sqoop if [ $# == 1 ] then dateStr=$1 else dateStr=`date -d '-1 day' +'%Y-%m-%d'` fi dateNowStr=`date +'%Y-%m-%d'` yearStr=`date -d ${dateStr}

大数据-离线数仓-工作流调度：Hive的5层处理脚本（ODS-DIM-DWD-DWS-ADS）组成一个工作流【每天0:30待昨日数据完全采集到HDFS后，自动开启工作流处理数据】

最新发布

u013250861的博客

04-11

153

大数据-数仓-工作流调度：Hive的5层处理脚本（ODS-DIM-DWD-DWS-ADS）组成一个工作流【每天0:30待昨日数据完全采集到HDFS后，自动开启工作流处理数据】

Hive 查询数据导出到本地目录或 hdfs 的方法

王坤华的博客

05-18

4106

Hive 查询数据导出到本地目录或 hdfs 的方法说明在最近的项目中，需要将最终生成的 Hive 表数据导出到文件中，具体实现请参见下方 SQL。查询结果导入到 hdfs 文件一般方式： insert overwrite directory '/hive/test_data' select * from test; 自定义输出样式方式： insert overwrite directory '/hive/test_data' row format delimite...

HIVE 定时备份定时删除全库建表语句

SDKLHKJAS的博客

05-25

288

今天又被工头叫去了因为我们现在系统还是试运行阶段，这个阶段对系统中表的改动是常有的事，包括表结构，列名，属性，HQL脚本等等；为了保证万一有人改错或者误删了表和HQL脚本，无处可恢复，工头要求我写一个可以定时全库备份建表语句的脚本（并且要带有定时删除14天之前的功能）。经过了长久且艰辛得行为斗争之后，这个脚本终于竣工了???????????????? 直接看成果 #!/bin/bash cd /cib/dm/hive_table rm -f tablist* test.fin #use hi

13、Hive数据仓库——结合shell脚本企业实战用法，定时调度

hujieliang123的博客

02-23

2783

Hive数据仓库——结合shell脚本企业实战用法，定时调度

数据仓库框架指导

yyuu002的博客

03-02

3594

数据仓库框架进行梳理，包括概念、建模、最佳实践等

Hive如何加载和导入HBase的数据

soledede

06-03

331

当我们用HBase 存储实时数据的时候，如果要做一些数据分析方面的操作，就比较困难了，要写MapReduce Job。 Hive 主要是用来做数据分析的数据仓库，支持标准SQL 查询，做数据分析很是方便，于是便很自然地想到用Hive来载入HBase的数据做分析，但是很奇怪地是，上网查了一下，只看到以下两种情况： 1. 如何用Hive 往HBase里面插入大量的数据。 2...

Sqoop定时导入HDFS脚本

ChengYanan的博客

05-03

395

#!/bin/bash db_date=$2 echo $db_date db_name=gmall #定义了一个方法，方法体里边的$1,$2指的是调用这个方法时候传入的参数 import_data() { /opt/module/sqoop/bin/sqoop import \ --connect jdbc:mysql://hadoop102:3306/$db_name \ --usernam...

.net千万级数据导出_Hive实现数据抽样的三种方法

weixin_39950812的博客

12-19

391

在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。Hive提供了数据取样(SAMPLING)的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，具体如下所示：1. 数据块抽样(tablesample()函数)1) tablesample(n percent) ...

sqoop导入mysql定时_【sqoop】定时执行shell脚本，sqoop从mysql导出多张表信息到hbase...

weixin_42501785的博客

02-11

171

一、shell脚本#!/bin/bash#coding=UTF-8#date_year=$(date +%Y)#echo $date_yearsource /etc/profilefor((i=3;i<=8;i++));do/opt/sqoop-1.4.6/bin/sqoop import --connect jdbc:mysql://192.168.150.86:3306/ablesky_...

用shell方式实现sqoop抽数到hive

mumu0215的博客

02-23

132

我们只需要填写8个参数，就能实现源系统数据到hive。

hive，sqoop定时执行脚本举例

weixin_33749242的博客

03-24

513

2019独角兽企业重金招聘Python工程师标准>>> ...

关于hive数据的导入

weixin_43814165的博客

09-05

406

关于hive数据的导入

hive 随机抽样 distribute by rand() sort by rand() limit n

u011250186的博客

04-11

762

通过对takeSample采样分析发现，他是利用我们要取的数据量，和总的数据量计算出一个概率，然后再利用这个概率去进行二项分布抽样或者是泊松抽样。所以说不管是sample方法，还是takeSample方法，底层抽样的原理都是一样的，都是通过概率进行抽样的。等价与distribute by rand() sort by rand() 也是真正的随机，并且仅随机一次，速度会比方法3快。order by rand() : order by 是全局的，比较耗时，只有一个reduce，是真正的随机。

[shell]shell脚本实现每天自动抽取数据插入hive表