Hive ORC + SNAPPY

最新推荐文章于 2024-03-06 18:59:24 发布

VIP文章 weixin_30664051

最新推荐文章于 2024-03-06 18:59:24 发布

阅读量771

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/drjava/p/10458266.html

版权

Hive orc 格式 + snappy 压缩是比较常用的存储加压缩格式。

今天处理下面的场景时，解决了一些问题，记录下来：

flume消费kafka的数据实时写入hdfs，通过创建分区表，t + 1 时，需要看到昨天的数据：

　　 flume 通过snappy 将数据写入hdfs，可以通过在fliume.conf中配置以下

保证每天的数据写入同一个目录中：

agent.sinks.hdfs_sink.hdfs.path = /user/hive/warehouse/ods.db/kafka_2_hdfs_test/ods_sale_alter/dt=%Y-%m-%d

避免在hdfs写入过多的小文件：
```
tier1.sinks.hdfs_sink.hdfs.idleTimeout=0
```
这个参数是某个topic停止活动时间超过设置的值时，就把hdfs上文件结尾的.tmp去掉，并开始写入新文件。设置为0，表示忽略停止时间。
配置了2的参数后，会造成一个问题，当新的一天，数据开始写入hdfs上另一个目录后，
比如"dt=2019-03-02","dt=2019-03-01"文件夹下的最后一个文件，还是以.tmp结尾的，在hive建表后，数据格

关注