大家在上篇博客中,可以看到,对flume本身的优化,我们可以说是一个较大的进步,但是,后期梳理时,发现,数据的处理经过了很多没有必要的步骤,我们的处理有些多余,但是精简哪里,又成为了一个问题,本篇博客带领大家一起看看,精简的关键位置及效果。
还是老样子,大家会议上篇博客的架构:
不难看出,有一个性能点就是从主端口下发的时候,三个端口到es的过程中,为了让数据有较好的缓冲,我们使用了kafka作为缓冲区,但是三个flume先得有些多余,我们可以使用首端(第一个flume)做到三个输出,不再是avro端口,而是直接和kafka对接,大家看优化之后的图: