xhxjxh的博客

原创 sparkstreaming 实时写入 hive 后合并小文件

(1),第一种,可以在创建的DataFrame的时候,cache一下,然后对DataFrame进行重新分区,可以把分区设置为1,可以用reparation,当然也可以用coalesce,这两个的区别,可以看我的另外一篇博客,这个时候就会一个job产生一个文件,但是这么做就降低了写入的性能,所以数据量不是特别大的时候,还是可以用的,但是如果数据量很大,就需谨慎使用,(2),第二种方法是利用sql定时执行一下,insert overwrite table a select * from a;