log4j2+kafka+ELK输出日志乱码解决过程

平台搭建完毕后测试发现在kibana中输出的中文全都成了乱码，百度上搜索了一番，都说用logstash的codec组件进行转码，有些说input和output上都配置，有些说只需配置在input上，捣鼓了半天试了七八种与编码的组合，依然是乱码，只是乱码的种类不一样…

于是我想，会不会存入kafka的时候就成了乱码，在命令行消费消息控制台打出显示却是正常的…WTF

后面看到这位仁兄的博客 https://blog.csdn.net/evilcry2012/article/details/78092559 里面提到了
GBK转UTF-8后生成：�������й���
GBK转换成UTF-8再转成GBK：锟斤拷锟斤拷锟斤拷锟叫癸拷锟斤拷
且GBK转成UTF-8是不可逆的操作，就算再转成GBK也无法回到最初的状态

于是我去掉了所有的编码配置，还原到最初状态，重启后发现中文对应的乱码是�������й���此种格式，
此时我恍然大悟，windows默认的字符编码是GBK，所以日志传入kafka之前应该是GBK的，但是不知道后面哪个环节被转成了UTF-8，且操作是不可逆的。要查出到底是哪个环节被转成了UTF-8，估计要不少的时间，时间紧迫于是选择了一种较为快捷的办法，在log4j2输出的时候就指定以UTF-8输出

<Kafka name="Kafka" topic="${KAFKA_TOPIC}">
    <PatternLayout charset="UTF-8" pattern="%date{yyyy-MM-dd HH:mm:ss,SSS} [${SERVER_NAME}] [%thread] %level [%C{36}.%M] - %msg%n"/>
    <Property name="bootstrap.servers">${KAFKA_SERVERS}</Property>
</Kafka>

重启后发现果然正常了，至此，该问题暂时终结
后续有时间再详细查查到底是哪个环节被不转成了UTF-8

建议有条件还是把这些东西部署到linux上面，linux默认编码为UTF-8，就不会有这些问题

一天天学习_{一天天进步}~~