Spark Streaming的优化.小文件

小文件的处理

方式：1)增加batch的大小
2)coalesce
3)外部处理
4)调用foreach进行追加

增加batch的大小

原理：batch越大，从外部接收的event就越多，内存积累的数据也就越多，那么输出的文件数也就回变少
适用：消息实时到达，但不想挤压在一起处理

coalesce

优点：可以在最终要输出的时候，来减少partition个数
缺点：一个batch的处理时延必定增长，batch挤压会逐渐增大

外部处理

原理：在Spark Streaming外再启动定时的批处理任务来合并Spark Streaming产生的小文件
特点：批处理的合并任务在时间切割上要把握好，否则就可能回去合并一个还在写入的Spark Streaming小文件

调用foreach进行追加

原理：Spark Streaming提供的foreach这个outout类API，可以自定义输出计算结果的方法。可以利用这个特性，每个batch在要写文件时，并不是去生成一个新的文件流，而是把之前的文件打开
特点：不能无限制的追加，当判断一个文件已经达到某一个阈值时，就要产生一个新的文件进行追加了