syslog-ng详细安装配置

最新推荐文章于 2023-05-05 05:29:34 发布
最新推荐文章于 2023-05-05 05:29:34 发布
阅读量1.8w 收藏 10
点赞数 1
分类专栏： Linux 文章标签： server filter file cron network mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jsjwk/article/details/7942096
版权

最近的一个sendcloud项目中需要使用到syslog-ng收集日志。

原理是多台生产机部署不同的模块，包括nodeJs、java等等，各个生产机根据一定的规则产生日志。

一般我们的生产机redhat默认采用syslogd记录日志，可以使用syslogd将日志通过网络发送到指定的日志收集机器，统一分析。

这台日志收集机器安装的就是syslog-ng，下面讲解一下syslog-ng的安装和配置步骤：

[root@server2 ~]# cd /usr/local/src/tarbag/
[root@server2 tarbag]# wget http://www.balabit.com/downloads/files?path=/eventlog/0.2/eventlog_0.2.12.tar.gz
[root@server2 tarbag]# tar -zxvf eventlog_0.2.12.tar.gz -C ../software/
[root@server2 tarbag]# cd ../software/eventlog-0.2.12/
[root@server2 eventlog-0.2.9]# ./configure   --prefix=/usr/local/eventlog && make && make install
[root@server2 eventlog-0.2.9]# ls /usr/local/eventlog/
include   lib
 
[root@server2 syslog-ng-3.0.5]# cd -
/usr/local/src/tarbag
[root@server2 tarbag]# wget http://www.balabit.com/downloads/files?path=/libol/0.3/libol-0.3.15.tar.gz
[root@server2 tarbag]# tar -zxvf libol-0.3.15.tar.gz -C ../software/
[root@server2 tarbag]# cd ../software/libol-0.3.15/
[root@server2 libol-0.3.9]# ./configure --prefix=/usr/local/libol && make && make install
[root@server2 libol-0.3.9]# ls /usr/local/libol/
bin   include   lib
[root@server2 libol-0.3.9]# cd -
[root@server2 tarbag]# wget http://www.balabit.com/downloads/files?path=/syslog-ng/open-source-edition/3.3.5/source/syslog-ng_3.3.5.tar.gz
[root@server2 tarbag]# tar -zxvf syslog-ng_3.3.5.tar.gz -C ../software/
[root@server2 tarbag]# cd ../software/syslog-ng-3.3.5/
[root@server2 syslog-ng-3.0.5]#   export PKG_CONFIG_PATH=/usr/local/eventlog/lib/pkgconfig
[root@server2 syslog-ng-3.0.5]# ./configure --prefix=/usr/local/syslog-ng --with-libol=/usr/local/libol && make && make install
configure: error: Cannot find eventlog version >= 0.2: is pkg-config in path? (若出现这个错误，基本上是由于前面的PKG_CONFIG_PATH变量没指定好)
[root@server2 syslog-ng-3.0.5]# ls /usr/local/syslog-ng/
bin   libexec   sbin   share
[root@server2 syslog-ng-3.0.5]# mkdir /usr/local/syslog-ng/etc
[root@server2 syslog-ng-3.0.5]# mkdir /usr/local/syslog-ng/var
[root@server2 syslog-ng-3.0.5]# cp contrib/syslog-ng.conf.RedHat   /usr/local/syslog-ng/etc/
[root@server2 syslog-ng-3.0.5]# cp modules.conf scl.conf /usr/local/syslog-ng/etc/
[root@server2 syslog-ng-3.0.5]# cp contrib/init.d.RedHat /etc/init.d/syslog-ng
 
[root@server2 syslog-ng-3.0.5]# cd /usr/local/syslog-ng/etc/
[root@server2 etc]# mv syslog-ng.conf.RedHat syslog-ng.conf
[root@server2 etc]# cat syslog-ng.conf
@version:3.0
options {
long_hostnames(off);
log_msg_size(8192);
flush_lines(1);
log_fifo_size(20480);
time_reopen(10);
use_dns(yes);
dns_cache(yes);
use_fqdn(yes);
keep_hostname(yes);
chain_hostnames(no);
perm(0644);
stats_freq(43200);
};
source s_internal { internal(); };
destination d_syslognglog { file("/var/log/syslog-ng.log"); };
log { source(s_internal); destination(d_syslognglog); };
 
source s_local {
         unix-dgram("/dev/log");
         file("/proc/kmsg" program_override("kernel:"));
}; 

filter f_messages { level(info..emerg); };   //定义7种日志类型
filter f_secure { facility(authpriv); };
filter f_mail { facility(mail); };
filter f_cron { facility(cron); };
filter f_emerg { level(emerg); };
filter f_spooler { level(crit..emerg) and facility(uucp, news); };
filter f_local7 { facility(local7); };
destination d_messages { file("/var/log/messages"); };   //定义7种类型日志在客户端的位置
destination d_secure { file("/var/log/secure"); };
destination d_maillog { file("/var/log/maillog"); };
destination d_cron { file("/var/log/cron"); };
destination d_console { usertty("root"); };
destination d_spooler { file("/var/log/spooler"); };
destination d_bootlog { file("/var/log/dmesg"); };
log { source(s_local); filter(f_emerg); destination(d_console); };
log { source(s_local); filter(f_secure); destination(d_secure); flags(final); };
log { source(s_local); filter(f_mail); destination(d_maillog); flags(final); };
log { source(s_local); filter(f_cron); destination(d_cron); flags(final); };
log { source(s_local); filter(f_spooler); destination(d_spooler); };
log { source(s_local); filter(f_local7); destination(d_bootlog); };
log { source(s_local); filter(f_messages); destination(d_messages); };
 
# Remote logging   //定义监听的端口
source s_remote {
         tcp(ip(0.0.0.0) port(514));
         udp(ip(0.0.0.0) port(514));
};
//定义客户端日志在服务器上保存的格式，位置和权限等
destination r_console {file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/console" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes));};
destination r_secure {file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/secure" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes));};
destination r_cron {file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/cron" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes));};
destination r_spooler {file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/spooler" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes));};
destination r_bootlog {file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/bootlog" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes));};
destination r_messages {file("/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/messages" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes));};
log { source(s_remote); filter(f_emerg); destination(r_console); };
log { source(s_remote); filter(f_secure); destination(r_secure); flags(final); };
log { source(s_remote); filter(f_cron); destination(r_cron); flags(final); };
log { source(s_remote); filter(f_spooler); destination(r_spooler); };
log { source(s_remote); filter(f_local7); destination(r_bootlog); };
log { source(s_remote); filter(f_messages); destination(r_messages); };
 
[root@server2 etc]# chmod +x /etc/init.d/syslog-ng 
[root@server2 etc]# chkconfig --add syslog-ng
service syslog-ng does not support chkconfig(若出现该错误，请修改该脚本前四行如下)
[root@server2 etc]# head -4 /etc/init.d/syslog-ng 
#!/bin/bash
#chkconifg: --add syslog-ng
#chkconfig: 2345 12 88
#Description: syslog-ng

该脚本还需要修改下面的三个位置
[root@server2 etc]# grep ‘PATH‘ /etc/init.d/syslog-ng 
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/syslog-ng/bin:/usr/local/syslog-ng/sbin
[root@server2 etc]# grep 'INIT' /etc/init.d/syslog-ng |head -2

INIT_PROG="/usr/local/syslog-ng/sbin/syslog-ng"     # Full path to daemon
INIT_OPTS="-f /usr/local/syslog-ng/etc/syslog-ng.conf"                       # options passed to daemon
 

[root@server2 etc]# service syslog-ng start
Starting syslog-ng: /usr/local/syslog-ng/sbin/syslog-ng: error while loading shared libraries: libevtlog.so.0: cannot open shared object file: No such file or directory
Starting Kernel Logger: 出现此错误是因为共享库链接没做好
[root@server2 etc]# 
ln -s /usr/local/eventlog/lib/* /lib/
ln -s /usr/local/eventlog/lib/* /lib64/

 
出现下面的问题是因为主配置文件中缺少：@version:3.0这行
Starting syslog-ng: Configuration file has no version number, assuming syslog-ng 2.1 format. Please add @version: maj.min to the beginning of the file;
 
[root@server2 ~]# service syslog-ng start
Starting Kernel Logger:                                     [   OK   ]
[root@server2 etc]# cat /var/log/syslog-ng.log 
Jan 28 03:59:07 server2.yang.com syslog-ng[20225]: syslog-ng starting up; version='3.0.5'
 

客户端配置：
[root@client ~]# tail -1 /etc/syslog.conf 
*.*                                                      @192.168.90.20
 
[root@client ~]# logger -i just one test
[root@client ~]# tail -1 /var/log/messages 
Jan 27 22:12:02 client root[2861]: just one test
[root@server2 ~]# cat /var/log/syslog-ng/20100128/192.168.90.10/messages 
Jan 28 04:24:32 192.168.90.10 root[2861]: just one test
 
[root@server2 ~]# cat /var/log/syslog-ng/20100128/192.168.90.10/secure 
Jan 28 04:01:04 192.168.90.10 sshd[2832]: Accepted publickey for root from 192.168.90.1 port 48834 ssh2
Jan 28 04:01:04 192.168.90.10 sshd[2832]: pam_unix(sshd:session): session opened for user root by (uid=0)

前面配置好了syslog-ng,下面简要的概述下如何将系统日志存入mysql
1：将mysql的头文件和库文件链接到/usr/local下
[root@server2 ~]# ln -s /usr/local/mysql/lib/mysql /usr/local/lib/mysql
[root@server2 ~]# ln -s /usr/local/mysql/include/mysql/ /usr/local/include



 


[root@server2 ~]# cd /usr/local/src/software/sqlsyslogd
2：下载sqlsyslogd源码包，由于是整个目录下载，所以会下载index.html打头的索引文件

[root@server2 software]# wget -d -r -np http://www.frasunek.com/sources/security/sqlsyslogd/
[root@server2 software]# cd www.frasunek.com/sources/security/sqlsyslogd/
[root@server2 sqlsyslogd]# rm -rf index.html*
[root@server2 sqlsyslogd]# cd contrib/
[root@server2 contrib]# rm -rf index.html*
[root@server2 contrib]# cd
[root@server2 ~]# mv /usr/local/src/software/www.frasunek.com/sources/security/sqlsyslogd/ /usr/
local/src/software/
3:make,复制sqlsyslogd二进制程序到/usr/local/sbin目录下
[root@server2 ~]# cd /usr/local/src/software/sqlsyslogd/
[root@server2 sqlsyslogd]# make
cc -O6 -Wall -pipe -I/usr/local/include -DCONF=\"/usr/local/etc/sqlsyslogd.conf\" -L/usr/local/lib/mysql -lmysqlclient sqlsyslogd.c   -o sqlsyslogd
[root@server2 sqlsyslogd]# cp sqlsyslogd /usr/local/sbin/
4：执行下sqlsyslogd程序，出现下面的命令选项则说明安装成功
[root@server2 sqlsyslogd]# sqlsyslogd 
usage: sqlsyslogd [-h hostname] <-u username> [-p] <-t table> [database] 
5：修改/etc/ld.so.conf文件，并使其生效，这个文件维护着编译的动态链接库位置
[root@server2 sqlsyslogd]# cat /etc/ld.so.conf
include ld.so.conf.d/*.conf
/usr/local/lib/mysql
[root@server2 sqlsyslogd]# ldconfig
 
6：在数据库中创建相应的库和表
[root@server2 sqlsyslogd]# mysql
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 158
Server version: 5.1.36-log Source distribution
 
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
 
mysql> create database syslog;
Query OK, 1 row affected (0.00 sec)
 
mysql> use syslog
Database changed
mysql> create table logs (Id int(10) NOT NULL auto_increment,Timestamp varchar(16),Host varchar(50),Prog varchar(50),Mesg text,PRIMARY KEY (id));
Query OK, 0 rows affected (0.01 sec)
 
mysql> exit
Bye
 
7：该文件定义了连接数据库的密码
[root@server2 sqlsyslogd]# cat /usr/local/etc/sqlsyslogd.conf 
123456
 
8：在syslog-ng主配置文件中添加下列配置
[root@server2 sqlsyslogd]# vi /usr/local/syslog-ng/etc/syslog-ng.conf
 
destination sqlsyslogd{
program("/usr/local/sbin/sqlsyslogd -u root -t logs syslog -p");
};
 
log {
        source(s_remote);
        destination(sqlsyslogd);
};
 
9:重启syslog-ng服务
[root@server2 sqlsyslogd]# service syslog-ng restart
Stopping Kernel Logger:                                    [ OK ]
Starting Kernel Logger:                                    [ OK ]
 
10:客户端发消息测试
[root@server2 sqlsyslogd]# tail -1 /var/log/syslog-ng/20100226/192.168.90.1/messages 
Feb 26 14:25:47 192.168.90.1 root[6058]: just for fun


上面的安装步骤中syslog-ng.conf文件的配置不够形象，下面再详细贴一个syslog-ng.conf的简单配置作为参考：

#############################################################################
# Default syslog-ng.conf file which collects all local logs into a
# single file called /var/log/messages.
#

@version: 3.3
@include "scl.conf"

source s_local {
        system();
        internal();
};

source s_network {
         tcp(ip(0.0.0.0) port(514));
         udp(ip(0.0.0.0) port(514));
};

filter f_outbound {
         level(info..emerg);
         host("ip|ip") and program("^node-syslog-outbound");
};

destination d_local {
        file("/var/log/messages");
};

destination d_network {
        file("/opt/apps/log/$YEAR$MONTH$DAY$HOUR$MIN.log" create_dirs(yes));
};

log {
        #source(s_local);
        #destination(d_local);
        source(s_network);
        filter(f_outbound);
        destination(d_network);
};


filter f_inbound {
         level(info..emerg);
         host("ip|ip") and program("^node-syslog-inbound");
};

destination d_inbound {
        file("/opt/apps/log_inbound/$YEAR$MONTH$DAY$HOUR$MIN.log" create_dirs(yes));
};
log {
        source(s_network);
        filter(f_softbound);
        destination(d_softbound);
};



以上就配置好了日志收集机器了，但是其它生产机怎么将日志发过来呢？

因为其它生产机默认采用的syslogd写syslog的，而syslogd自带有发送日志到网络上，只需要添加配置即可。

在/etc/syslog.conf上添加一行：

*.*             @ip

syslogd就会将服务器上的sysylog发送到这个ip上面，默认连接的端口是514，这一点可以在syslog-ng的配置里面看到。

 

ok，一个日志收集搭建完毕。

 

我写的《聊聊微服务架构》电子书，包括微服务技术，从微服务的入门，搭建、部署以及各模块的使用的技术书籍。 大部分内容是来源于我写的CSDN文章。

https://download.csdn.net/download/jsjwk/13585763

不止思考
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
syslog-ng安装包及安装步骤
12-23
syslog-ng安装包及安装步骤(syslog-ng_3.3.5.tar.gz,eventlog_0.2.12.tar.gz,syslog-ng安装步骤.txt)
syslog-ng-deployment:Syslog-ng部署配置
04-27
以下是syslog-ng-deployment的全局或默认配置文件。 0000-config_path_define.conf 包含syslog-ng configs的文件路径，默认为/ etc / syslog-ng / 0000-options.conf 包含syslog-ng的系统默认选项。 这些基
syslog-ng+loganalyzer(非常详细配置文件)部署收集操作日志
weixin_34294649的博客
06-16 1204
一、syslog-ng 说明二、syslog-ng 下载安装三、syslog-ng 配置文件详细说明四、配置syslog-ng收集操作日志五、使用loganalyzer展示收集日志1.syslog-ng说明syslog-ng应用程序是一个灵活和高度可伸缩的系统日志应用程序创建集中的和可信的日志解决方案的理想选择。syslog-ng的主要特征概括如下： (1)可靠的日志传输:...
centos syslog-ng 配置
weixin_34218890的博客
07-12 195
   Syslog_ng 作为下一代的系统日志记录工具，兼容syslog，配置更为清晰灵活，采用tcp协议，支持正则消息过滤和多种归档方式。   1、环境 Linux主机：CentOS 5.3  ，ip为 192.168.92.1 syslog服务器 ：   ，ip为 192.168.92.3   2、软件安装 开源版本下载页面 ：https://www.balabit.com/n...
syslog-ng配置说明
Balder~专栏
05-16 1742
配置说明 syslog-ng的主配置文件存放在：/etc/syslog-ng/syslog-ng.conf 1、架构 syslog-ng的配置基于下面的架构： 引用 LOG STATEMENTS『SOURCES － FILTERS －DESTINATIONS』 消息路径『消息源－过滤器－目的站』 也就是说，通过定义多个消息源，把匹配上若干个过滤器的消息导向到指定的目的地，从而
syslog-ng配置
04-24 189
syslog-ng配置 绚丽也尘埃 » syslog-ng配置syslog-ng配置March 13th, 2012 绚丽也尘埃 Leave a comment Go to commentssyslog-ng的配置非常简单直观，于是乎配置好看看怎么用它实时收集日志...
syslog-ng 系统配置
cnbird's blog
07-16 722
syslog-ng 系统配置
balagetech-openwrt-syslog-ng-elasticsearch:使用 OpenWRT、Syslog-ng 和 Elasticsearch 监控家庭网络流量
05-31
此 repo 包含用于使用 OpenWRT 和 syslog-ng 以及 Elasticsearch Security 监控家庭网络的完整配置。 实现了以下组件： ulogd2 的连接跟踪事件 通过 dnsmasq 或未绑定的 DNS 日志（首选） 作为警报添加的 fail2...
syslog-ng-1.6.7rpm安装包和eventlog_0.2.12.tar.gz源码安装包
08-19
4. 在syslog-ng配置文件中启用eventlog模块，添加相应的源和目的地配置。 例如： ```conf source s_windows_eventlog { eventlog(); }; destination d_local_file { file("/var/log/windows_events.log"); }; ...
syslog-ng-3.3:感动！
04-30
如果你打算深入研究或定制syslog-ng，这个源代码将是极其宝贵的资源，包含完整的项目结构、配置文件示例以及开发文档。 总的来说，syslog-ng 3.3作为一个日志管理系统，虽然已不再是最新的版本，但它仍然在很多环境...
syslog-ng安装配置
05-22
集中日志服务器搭建，有相关的软件版本和文档说明
Syslog-NG日志服务器安装与配置
gyy823的专栏
08-12 2965
一.服务器端安装及配置 1.从syslog-ng的官方网站上下载编译好的rpm包,针对rhel的. 我把需要的rpm打个包放在这里了. 文件: Syslog-NG.rar 大小: 859KB 下载: 下载 2.安装(服务器跟客户端安装都一样,这里指的是linux客户端,windows客户端需要另外的软件) [root@Kevin syslog]# ls libdbi8-0
syslog-ng安装和使用
GodLaughing
07-25 5279
概述 syslog-ng常用于接收交换机、LINUX SERVER等程序发出的log信息。 安装 yum install syslog-ng 本文安装的是syslog-ng-3.0.5 配置 /etc/syslog-ng/syslog-ng.conf // 在最后加上： #aliswich syslog #定
syslog-ng详解——安装syslog-ng
专注探索c++，Linux等后台开发相关机制，欢迎关注，欢迎交流
09-12 5541
日志管理模块作为软件系统的一个重要子模块，其记录着系统运行的有关信息。当系统故障时，日志是用于问题定位的必备信息。所以，一个设计良好的日志模块及其重要，在Linux系统上往往用syslog(rsyslogd及klogd程序)来管理系统的日志。本文介绍的syslog-ng是syslog的next generation，具有比syslog更强大的功能和性能，优势在以下几个方面： 兼容syslog的功
Syslog-ng RHEL 的安装和配置
最新发布
HONEY MOOSE
05-05 706
syslog-ng 作为 syslog 的替代工具，可以完全替代 syslog 的服务，并且通过定义规则，实现更好的过滤功能。作为运维来说一个好的日志工具比什么都重要。通常我们会管理不同的服务器，因此我们需要把日志集中一下以便于快速查找。这个时候就需要在每个服务器上部署一个日志收集工具了 syslog-ng 是你的不二选择。
syslog-ng服务器的配置
weixin_33826609的博客
05-18 161
工作环境中需要配置syslog-ng日志服务器，并需要对日志的信息进行分类，现贴出原syslog-ng文件，供大家参考： ---------------日志服务器端------ -------cat /etc/syslog-ng/syslog-ng.conf # # /etc/syslog-ng/syslog-ng.conf # # Automatically g...
syslog-ng配置方式
focus on security
01-23 1689
nginx目前的日志存储方式是通过syslog发送到日志服务器，日志服务器上使用的程序是syslog-ng。 配置文件路径：/etc/syslog-ng/syslog-ng.conf // options是日志的一些基本选项 options { flush_lines (0); time_reopen (10); log_fifo_size (1024); long_hostnames (off); owne...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值