将ETL过后的数据以parquet的存储方式导入hive

最新推荐文章于 2023-05-31 20:10:28 发布

5xh

最新推荐文章于 2023-05-31 20:10:28 发布

阅读量1.5k

点赞数

本文链接：https://blog.csdn.net/qq_37283909/article/details/89421286

版权

本文介绍了如何将经过ETL处理的数据以Parquet格式存储并导入到Hive。首先，处理源日志文件得到清洗后的数据。其次，在Hive中创建外部表并指定存放位置。接着，将清洗后的文件移动到Hive表目录下。然后，执行分区刷新操作。最后，创建新的Parquet表，配置压缩方式和动态分区选项。

摘要由CSDN通过智能技术生成

[hadoop@hadoop-01 shell]$ cat g6-train-hadoop2.sh 

process_date=20180717
echo "step1: mapreduce etl"
hadoop jar /home/hadoop/lib/g6-hadoop-1.0.jar com.ruozedata.hadoop.mapreduce.driver.LogETLDriver /g6/hadoop/accesslog/$process_date /g6/hadoop/access/output/day=$process_date

echo "step2：数据移动到DW"
hdfs dfs -rm -r /g6/hadoop/access/clear/*
hdfs dfs -mv /g6/hadoop/access/output/day=$process_date  /g6/hadoop/access/clear/
echo "step3：刷元数据"
hive -e "use g6hadoop; alter table g6_access add if not exists partition (day=$process_date);"
echo "step4: 创建parquet表"
hive -e "use g6hadoop;set parquet.compression=gzip;set hive.exec.dynamic.partition = true;set hive.exec.dynamic.partition.mode = nonstrict;
insert into g6_access_parquet partition(day) select * from g6_access ; "

第一步：
原日志：20180717.txt。
经过ETL过后的文件在output目录
第二步