菜鸟笔记1：记一次kafka消费者异常掉线排查

导出文件的时候数据量比较大，采用异步的方案，页面点击导出，发送消息到kafka队列
消费者接收到消息之后开始处理数据导出文件，但是处理到一半，消费者突然没了

导致topic为data-export的这个主题的消息开始堆积

排查问题，发现只能在服务器上复现，本地程序能够正常消费的
1、怀疑是服务器上面的程序问题
2、怀疑是消费时超时导致的掉线

尝试过的解决方案：
1、排查代码，发现服务器上面的代码阻塞在下面的代码上，没有后续的日志输出

public static StringBuilder assembleData(List<Map<String,Object>> beans, List<InterfaceFileField> interfaceFileFieldList){
    StringBuilder data = new StringBuilder();
    for (Map<String,Object> dataMap:beans){
        for (InterfaceFileField interfaceFileField : interfaceFileFieldList){
            data = data.append(dataMap.get(interfaceFileField.getFieldCode().toUpperCase()));
        }
        data.append("\r\n");
    }
    return data;
}

a.怀疑是for循环次数过多，导致的超时假死，本地设置等待时间1分钟，结果正常消费，再服务器上写测试方法，这个循环时间在2秒内，排除；
b.调整服务器上面的应用启动内存 ，由原来的400M，修改为 800M，消费者可以正常消费，但在消费多次之后，消费者丢失，怀疑写TXT文件时内存没有及时释放

最后解决方案：
再次排查后发现原因时写TXT文件时内存没有及时释放，导致内存占用过高，线程挂起，消费者消费超时导致的消费者假死
修改写TXT文件的逻辑，改为单条写，写完释放内存

修改前：

StringBuilder stringBuilder = assembleData(beans, interfaceFileFieldList);
log.info("生成文件头：{}，开始写文件内容");
BufferedWriter out = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(path,appendFlag)));
out.write(fileHeader+"\r\n");
out.write(stringBuilder.toString());
out.write(fileEnd+"\r\n");
out.close();

修改后：

BufferedWriter out = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(path,appendFlag)));
out.write(fileHeader+"\r\n");
for (Map<String,Object> dataMap:beans){
    StringBuilder stringBuilder = assembleData(dataMap, interfaceFileFieldList);
    out.write(stringBuilder.toString());
    out.flush();
}
out.write(fileEnd+"\r\n");
out.close();