日志收集之rsyslog kafka配置

参考：http://blog.51cto.com/welcomeweb/2136300?source=dra

https://www.jianshu.com/p/8384f6cd0f22

背景：

最近项目需要上监控，经过规划决定用：rsyslog/telegraf+kafka+influxdb+grafana的技术架构，虽然公司有运维这些都不需要自己搭建配置，但秉着实践是检验真理的唯一标准，决定自己动手搭建实践，因为机器限制，架构中需要用集群的都用单节点代替。

实践步骤：1.搭建单节点zk+kafka

                  2.安装rsyslog+rsyslog-kafka

实践环境：Linux version 3.10.0-862.11.6.el7.x86_64   8核16g

第一阶段目标：nginx的日志文件(access.log)中的数据发生改变，消费者可以收到发生改变的数据

具体安装步骤：

1.搭建单节点zk+kafka

(安装zk参考：https://www.cnblogs.com/adolfmc/p/7344574.html，

安装单节点参考：https://www.cnblogs.com/adolfmc/p/7345333.html)

根据博客中的安装，实现生产者发送消息kafka，消费者接受消息，这一步没有遇到什么问题。

2.安装rsyslog+rsyslog-kafka

2.1通过yum安装

运行下列命令（如果没有yum源 1.进入/etc/yum.repos.d  2. 运行：wget http://rpms.adiscon.com/v8-stable/rsyslog.repo）

# yum install rsyslog

# yum install rsyslog-kafka.x86_64

安装完成后查看 /lib64/rysylog/(32为系统为/lib/rsyslog)中是否存在omkafka.so,验证rsyslog-kafka是否安装成功

2.2 rsyslog配置

编辑配置文件（路径：/etc/rsyslog.conf ），在配置文件#### MODULES ####的下面添加如下配置

# 加载omkafka和imfile模块
module(load="omkafka")
module(load="imfile")

# nginx template
template(name="nginxAccessTemplate" type="string" string="%hostname%<-+>%syslogtag%<-+>%msg%\n")

# ruleset
ruleset(name="nginx-kafka") {
    #日志转发kafka
    action (
        type="omkafka"
	template="nginxAccessTemplate"
        topic="test_nginx"
        broker="localhost:9092"
    )
}

# 定义消息来源及设置相关的action
input(type="imfile" Tag="nginx-accesslog" File="/var/log/access.log" Ruleset="nginx-kafka")

配置简单说明：localhost:9092需要修改为你自己的kafka地址（如果为集群多个地址逗号分隔），/var/log/access.log是监控的nginx日志文件（可以在此目录下自己创建个access.log，当然正式使用此目录改为nginx的日志目录）

修改完配置后运行：rsyslogd -N 1 或者 rsyslogd -dn 查看配置是否报错

然后重启rsyslog：service rsyslog restart，重启后查看/var/log/message中日志是否报错

3.测试是否成功：

3.1新建窗口进入kafka安装目录，创建队列test_nginx：

# bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic test_nginx --zookeeper localhost:2181/kafka

3.2创建消费者,此时界面卡住不动：

bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka --topic test_nginx

3.3回到原来的命令窗口：

进入/var/log/目录，运行：vi access.log 然后按一下键盘中的"I"键进入编辑模式,然后在最下面增加多行数据，按esc键，然后输入":wq",回车保存，此时会看到消费者窗口已经接收到日志改变的数据

参考自：https://www.jianshu.com/p/1b7fdb1cff3c

第二阶段目标：定时采集服务器的内存和cpu性能指标，消费者能接收到性能指标

telegraf部署安装：

1.运行下列命令安装

   wget https://dl.influxdata.com/telegraf/releases/telegraf-1.1.1.x86_64.rpm
   yum localinstall -y telegraf-1.1.1.x86_64.rpm

2.文件配置

可执行文件在usr/bin/telegraf，配置文件在安装后的etc目录下，也可直接配置生成，进入etc目录下，

telegraf config > telegraf.conf

#生成带cpu、memroy、http_listener和influxdb插件的配置文件
#telegraf --input-filter cpu:mem:http_listener --output-filter influxdb config > telegraf.conf

#生成带cpu、memroy、http_listener和输出到kafka插件的配置文件
telegraf --input-filter cpu:mem:http_listener --output-filter kafka config > telegraf.conf
配置参考：https://www.jianshu.com/p/5e3ca9096caf

https://github.com/dachengxi/spring-boot-monitoring

3.在另外一个窗口创建topic和消费者

创建topic

bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic telegraf --zookeeper localhost:2181/kafka

创建消费者
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka --topic telegraf

4.运行程序

执行程序
telegraf --config telegraf.conf

以后台方式启动
nohup telegraf --config telegraf > /dev/null 2>&1 &

5.此时消费者接受到cpu信息和内存信息以及http响应信息

第三阶段目标：安装influxdb

下载参考：https://portal.influxdata.com/downloads

使用参考：https://docs.influxdata.com/influxdb/v1.6/introduction/getting-started/

                  https://www.jianshu.com/p/a1344ca86e9b

                  https://docs.influxdata.com/influxdb/v1.6/introduction/getting-started/

##下载
wget https://dl.influxdata.com/influxdb/releases/influxdb-1.6.4.x86_64.rpm
##安装
sudo yum localinstall influxdb-1.6.4.x86_64.rpm
##启动
service influxdb start
##运行自带的客户端
influx -precision rfc3339

##查看数据库
show databases

##用某个数据库
use ??
##查看所有表
show measurements

##查看所有订阅
SHOW SUBSCRIPTIONS
##删除某个订阅
DROP SUBSCRIPTION "kapacitor-b66137ff-40f8-4c48-8f88-1980d221d273" ON "_internal"."autogen"

##influx启动脚本路径
在/usr/bin下有以下文件：
influxd          influxdb服务器
influx           influxdb命令行客户端
influx_inspect   查看工具
influx_stress    压力测试工具
influx_tsm       数据库转换工具（将数据库从b1或bz1格式转换为tsm1格式）

第四阶段：安装grafana

##安装
sudo yum install https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.6.3-1.x86_64.rpm
##启动
sudo service grafana-server start

##重启
service grafana-server restart

##浏览器预览
http://localhost:3000
##默认日志和配置文件位置
/var/log/grafana/grafana.log
/etc/grafana/grafana.ini

grafana配置文件详解：
https://blog.csdn.net/wzygis/article/details/52727067

grafana使用逻辑组织架构设计：
https://yq.aliyun.com/articles/621138

内部管理后台可以内嵌图表：

http://XXXXXX/dashboard-solo/db/livecms-server-monitor?orgId=1&from=now-6h&to=now&var-hosts=shwgq-t-batch-30-130.lv-2ncb-nd.lin.idc.pplive.cn&theme=light&panelId=1

第五阶段：安装KapacitorKapacitor

安装参考：https://www.jianshu.com/p/3bac3645bd4a

使用参考：https://docs.influxdata.com/kapacitor/v1.5/introduction/getting-started/

邮件警报：https://docs.influxdata.com/kapacitor/v1.5/event_handlers/email/

订阅参考：https://docs.influxdata.com/kapacitor/v1.5/administration/subscription-management/

配置文件参考：https://docs.influxdata.com/kapacitor/v1.5/administration/configuration/

自带客户端参考：https://docs.influxdata.com/kapacitor/v1.5/working/cli_client/

##安装
sudo yum install kapacitor
##运行
service kapacitor start

##验证状态
sudo systemctl status kapacitor

第六阶段：安装Chronograf

参考：https://docs.influxdata.com/kapacitor/v1.5/working/kapa-and-chrono/

##安装
sudo yum install chronograf
##运行
service chronograf start
##预览
http://localhost:8888