Syslog-ng 转发到 Kafka案例详解

概述

最近要搞一个syslog-ng 转发到kafka的需求，至于如何在linux上安装这些操作，百度上有挺多的，就不详细概述了，但是具体可以说一下如何安装其他版本什么的。当前案例主要是 syslog-ng记录日志，然后转发到kafka的案例。使用的是linux系统。

起步

首先syslog-ng官网为： https://www.syslog-ng.com/ 有很多如软件/文档/教程都可以在官网上找到，但是可能会比较散，所以需要细心点看一下。
安装:
基于centos 7 / yum命令进行安装(如果没有yum命令的话，先百度搜索一下安装yum)

// 先查看一下yum仓库内有没有syslog-ng
yum list syslog-ng
// 如果有的话直接安装即可
yum install syslog-ng
// 如果想要安装其他版本的话，可以在这个网站下搜索
// 1、https://copr.fedorainfracloud.org/coprs/czanik/2/
// 2、然后转到要下载的repo的网址，如：https://copr.fedorainfracloud.org/coprs/czanik/syslog-ng326epel6/repo/epel-6/czanik-syslog-ng326epel6-epel-6.repo
// 3、先使用cd 命令去到目录 /etc/yum.repos.d
// 4、使用 wget repo文件的地址 然后安装到yum目录
// 5、然后使用 yum install syslog-ng即可

注意:
这里有一个坑，如果你是想要syslog-ng发送到kafka中的话，一定要安装 syslog-ng-kafka 的组件，不然的话是无法启动成功的

yum install syslog-ng-kafka

然后基础安装就可以了。后面就是第二步了

配置

配置也是直接看下面的文章吧：
https://www.linuxprobe.com/syslog-ng.html
https://blog.csdn.net/weixin_34294649/article/details/92569022
这些文章都写得很详细了，有什么配置怎么配置直接看就行了

配合kafka

然后配合kafka的话就看下面的文章即可
https://www.syslog-ng.com/technical-documents/doc/syslog-ng-open-source-edition/3.16/administration-guide/10#TOPIC-956422
https://syslog-ng.gitbooks.io/getting-started/content/chapters/chapter_5/section_3.html
https://github.com/syslog-ng/syslog-ng/blob/66d8017a1198b15df72a58133756efee3dfb2755/modules/kafka/README.md
直到这里，其实是已经搞掂了 syslog-ng to kafka 的步骤了，然后测试的话就是开着kafka去测试即可

dev命令

这次踩坑主要是因为之前没安装 syslog-ng-kafka这个组件，导致一直启动不成功，并且启动不成功的时候，也没有什么有用的日志，然后在github上看到了下面这个非常有用的命令

syslog-ng -Fdev

具体文章看这： https://github.com/syslog-ng/syslog-ng/issues/3402
就是这个命令，帮我解决了我的配置问题，然后看出来原来没安装kafka组件，如果之后启动失败或者还有其他什么问题的话其实都可以直接看到使用这个命令进行调试。