项目难点总结

一　滑动窗口

　　１）滑动窗口设置

　　２）窗口对齐

　　３）窗口的调优，能否正常触发

　　数据丢失问题
　　　　ｒｅｔｒｙ

　　事件延时（late arrival events）

　　　五分钟批量和２４小时批量补给

二　ignite

　　１）多个ｃlient出现，集群串联

　　２）宕机后数据丢失

　　３）数据持久化

三　批量文件发送

　　用ｓｐａｒｋ 程序进行发送，编写kafka producer 端

　　主要问题：

　　　　　　数据丢失（max.in.flight.requests.per.connection,  1）

　　　　　　大数据发送，进行参数设置

转载于:https://www.cnblogs.com/xyniu/p/8605925.html