mtail使用

获取mtail，在https://github.com/google/mtail 下载二进制文件

json.Decoder缓存整个JSON数据到内存，然后才解析成GO值。因此在从io.Reader流读取数据时，或者是从多个流数据解析值时，建议使用json.Decoder.在内存中已经存在json数据时，使用json.Unmarshal.因此在http请求时，使用json.Decoder，因为明显是在读取流数据(stream)

示例：

values := map[string]string{"name": "John Doe", "occupation": "gardener"}

json_data, err := json.Marshal(values)

if err != nil {

log.Fatal(err)

}

resp, err := http.Post("https://httpbin.org/post", "application/json",

bytes.NewBuffer(json_data))

if err != nil {

log.Fatal(err)

}

var res map[string]interface{}

json.NewDecoder(resp.Body).Decode(&res)

fmt.Println(res["json"])

获取mtail采集数据，有两种方式

pull基础采集 localhost:3903/json

push基础采集：

mtail --progs /etc/mtail --logs /var/log/syslog,/var/log/rsyncd.log --collectd_socketpath=/var/run/collectd-unixsock

mtail --progs /etc/mtail --logs /var/log/syslog,/var/log/rsyncd.log --graphite_host_port=localhost:9999

配置采集规则：

/etc/mtail/secure.mtail

counter fip_total by sip

counter ip_access by tip

counter test_ip

/Failed password .* (?P<sip>\d+(\.\d+){3}) port / {

fip_total[$sip]++

}

/Accepted publickey .* (?P<tip>\d+(\.\d+){3}) port / {

ip_access[$tip]++

}

/Received disconnect from 122.224.140.154 port/ {

test_ip++

}

配置mtail service：

/etc/systemd/system/mtail.service

[Unit]

Description="mtail:安全日志采集"

After=network.target

[Service]

Type=simple

ExecStart=/usr/bin/mtail --progs /etc/mtail --logs /var/log/secure --override_timezone=Local

ExecReload=/bin/killall -HUP mtail

ExecStop=/bin/kill -s TERM $MAINPID

Restart=on-failure

[Install]

WantedBy=multi-user.target