梅斌的博客

原创 kafka适用哪些离线同步场景

一、源端为大量小文件，合并为一个大文件存储到hdfs       a）为什么要把小文件合并为大文件 大量的小文件同步到hdfs，对namenode的压力非常大，生成环境是不会允许如此使用集群的。        b）为什么选kafka producer可以将文件内容转成消息发送到topic，相当于在数据传输过程对小文件进行了合并        c）consumer将消息直接写到hdfs还是...