nxlog 中文乱码解决

nxlog 中文乱码解决

本篇文章主要介绍使用nxlog作为日志推送工具时，遇到的中文乱码问题

背景

项目基于springboot开发，使用log4j日志插件，用tomcat作为运行容器，运行在windows环境下。日志都输出到tomcat的\apache-tomcat-8.0.53\logs\catalina.out文件中。因为想在linux环境下的graylog应用中也能收到Windows环境下项目产生的日志，所以使用nxlog作为日志推送工具，但是推送到graylog端的日志中包含的中文都是乱码，如下图所示：

原有nxlog配置

nxlog配置文件路径：C:\Program Files (x86)\nxlog\conf\nxlog.conf

## 主要配置项

<Extension _syslog>
    Module      xm_syslog
</Extension>

<Input testfile>
    Module im_file
    File "D:\apache-tomcat-8.0.53\logs\catalina.*.out"    
    SavePos TRUE
</Input>

<Output out>
    Module om_tcp
    Host   192.168.1.101
    Port   514
</Output>

<Route 1>
    Path testfile => out
</Route>

原因分析

通过查找网上资料，综合其他人遇到的情况判断，应该是由于项目默认编码为UTF-8，但是window系统默认编码为GBK，编码不一致导致输出的日志文件没有以正确的编码读取导致发送给graylog的数据乱码。

解决

通过在配置文件中引入nxlog的xm_charconv（字符集转换）模块，在读取日志文件的时候，自动将其他的编码类型转换为utf-8编码来解决乱码问题。

更新后的nxlog配置文件

## 主要配置项

<Extension _syslog>
    Module      xm_syslog
</Extension>

<Extension xm_charconv>
    Module      xm_charconv
    AutodetectCharsets gbk, utf-8, euc-jp, utf-16, utf-32, iso8859-2
</Extension>

<Input testfile>
    Module im_file
    File "D:\apache-tomcat-8.0.53\logs\catalina.*.out"    
    Exec  convert_fields("AUTO", "utf-8");
    SavePos TRUE
</Input>

<Output out>
    Module om_tcp
    Host   192.168.1.101
    Port   514
</Output>

<Route 1>
    Path testfile => out
</Route>

结果

修改完配置文件后，重启nxlog服务，即可看到新发送的没有乱码的日志了：

参考

[bug报告]nxlog字符集转化导致内存泄漏
Nxlog配置
字符集转换（xm_charconv）
nxlog | Logstash 最佳实践