java消息标准化程序

程序目的:

    1.读取大量实时文件(固定的主机目录中会有实时文件)

    2.整理格式

    3.发往kafka

    4.删除文件

程序思路

    主程序就是整理格式那块,可以设计到很复杂的业务,对于简单的格式,直接将数据拼接成map发出即可(核心代码)

    千篇一律的为:

        1.kafka配置,即将整理好的数据发出,需要将发送的主题配置好,包括分区数,主题数量等

        2.文件读取,设计到javaIO,遍历文件夹下的每个文件,然后读取文件中的每行数据,并且处理完毕将文件删除

        3.因为数据量大,设计到多线程