Hive 实战练习（一）—按照日期将每天的数据导入Hive表中

最新推荐文章于 2023-07-05 09:06:36 发布

NIITYZU

最新推荐文章于 2023-07-05 09:06:36 发布

阅读量6.5k

点赞数

分类专栏： Hive学习

本文链接：https://blog.csdn.net/NIITYZU/article/details/42586631

版权

本文介绍了如何将每天产生的日志数据在每天凌晨12点导入到Hive分区表中，用于第二天的数据分析。首先，创建一个以日期为分区字段的Hive表，接着编写处理前一天数据的脚本，并通过Hive -e命令执行HQL语句。最后，使用crontab实现脚本的定时执行。

摘要由CSDN通过智能技术生成

需求：

每天会产生很多的日志文件数据，有这么一种需求：需要将每天产生的日志数据在晚上12点钟过后定时执行操作，导入到Hive表中供第二天数据分析使用。要求创建分区表，并按照日期分区。数据文件命名是以当天日期命名的，如2015-01-09.txt

一、创建分区表，以日期作为分区字段

hive> CREATE TABLE storebydate(
    >    name STRING,
    >    age  INT,
    >    address STRING
    > )
    > PARTITIONED BY(date STRING)
    > ROW FORMAT DELIMITED
    > FIELDS TERMINATED BY ','
    > STORED AS TEXTFILE;
OK
Time taken: 0.093 seconds

因为我测试的数据文件格式是以逗号隔开的，所以此出创建表列以逗号隔开，可以修改成你自己对应的分隔符。

二、创建脚本

#!/bin/sh

todaydate=`date -d -1days +%Y-%m-%d`

hive -e "USE hive; LOAD DATA LOCAL INPATH '/home/hadoopUser/data/test/$todaydate.txt' OVERWRITE INTO TABLE storebydate PART