supervisor+rsyslog+sentry日志管理

使用supervisor+rsyslog+sentry进行日志管理配置方法

首先我想说，真他么太折腾了，终于搞定了，尼玛啊啊啊啊啊啊啊啊啊啊啊啊！为了折腾这个差不多花了一个星期的时间，从最开始的syslog开始，完全不了解，文章又少，我连俄语文章都拜读了啊，太佩服自己了，用英语提了下问，结果没人鸟，刚开始看的时候，感觉文章都是一堆天书，机器上也根本没有syslog，折腾了几天知道了rsyslog的基本使用，才发现自己的os尼玛syslog有问题根本就不记录，到处折腾不好，都想放弃了，期间又重装系统，必须感谢胡哥，陪我一起解决问题，一起研究rsyslog的用法，给我刻盘，昨晚1点了我都打算睡了还来敲门说他知道不能上传日志到sentry是什么原因了，1点了啊早上7点起床有么有啊，我穿条内裤又跑去他寝室看是咋回事，我看他也困的不行，说话声音都沙了，辛苦了。好基友，一被子啊！草！

环境：

Sentry Server：ubuntu 12.04 desktop（192.168.1.101）Test PC：ubuntu 12.04 desktop（192.168.1.106）

在产生日志的机器（Test PC）上安装Supervisor：

$ sudo pip install supervisor

配置Supervisor：

首先需要使用echo_supervisord_conf命令生成配置文件

# echo_supervisord_conf > /etc/supervisord.conf

或者：

$ echo_supervisord_conf |sudo tee /etc/supervisord.conf

配置文件可以自行指定文件所在位置，/etc/supervisord.conf是supervisor会默认查找的位置，报错信息中可以查看到还有其他几个路径也是默认位置。

按照conf文件示例内容修改配置，添加监控任务。其中;为注释

[program:THE_PROGRAM_NAME]
command=COMMAND_TO_RUN_THE_PROGRAM
autorestart=true
stdout_logfile=syslog
redirect_stderr=true

THE_PROGRAM_NAME为要监控的程序名称，可随意设置，会在syslog日志中显示

COMMAND_TO_RUN_THE_PROGRAM为启动这个被监控程序的命令，自动重启时用到

stdout_logfile的值设置为特殊值syslog，否则会以此值为本地文本文件名保存

配置好后启动supervisor：

# supervisord

修改产生日志机器上的rsyslog配置：

在/etc/rsyslog.d/下新建你的xxx.conf文件，内容为：

$SystemLogUsePIDFromSystem on
if $programname == 'supervisord' then @@192.168.1.101:10514;RSYSLOG_SyslogProtocol23Format

便会将supervisor产生的日志用tcp方式发送到Sentry Server的10514端口

---

Sentry Server上安装Sentry：

PS：因为sentry依赖django，且最新版必须依赖1.5.1以上版本，本地如果有django环境请使用virtualenv安装。

$ virtualenv --no-site-packages venv
$ cd venv/
$ source bin/activate
$ pip install sentry
$ pip install loggerglue
$ pip install MySQL-python #虚拟环境没有mysql，sentry默认是sqlite，要用到mysql需要安装上，安装mysql-python报错的话检查mysql-server mysql-client libmysqlclient15-dev python-dev等是否安装

配置Sentry

生成默认路径的配置文件：

$ sentry init  #--config自定义文件名
Configuration file created at '/home/ashin/.sentry/sentry.conf.py'

修改配置sentry.conf.py：

SENTRY_URL_PREFIX的值设置为什么那么Sentry的访问地址就必须是什么，如以localhost为例，设置为'http://localhost:9000'那么浏览器访问就必须是http://localhost:9000 ，而不能使用http://127.0.0.1:9000 进行访问。其他配置和Django的settings.py类似。

运行Sentry：

$ sentry start #--config自定义文件名

如果是在Running service: 'http'时报错 [ERROR] Connection in use: ('0.0.0.0', 9000)，请检查9000端口是否被占用。

如果报错：SuspiciousOperation: Invalid HTTP_HOST header (you may need to set ALLOWED_HOSTS): localhost:9000，需要在settings中配置ALLOWED_HOSTS=['localhost']。

访问web界面，登陆后按步骤设置下后会生成一个dsn key

测试下是否配置成功：raven test <DSN_KEY>

Sentry Server上运行Bridge to send rsyslog logs to sentry

使用https://gist.github.com/avoine/2912777/raw/c5f151fe701d58c33120118daa87c8cee95a7a46/gistfile1.py 插件，修改其中的dsn和监听ip，当Test PC发送syslog到Sentry Server的10514端口时，该脚本通过监听10514端口，通过handler调用raven的api将日志内容发送到sentry

import logging

from raven import Client
from loggerglue.server import SyslogServer, SyslogHandler

client = Client(dsn='http://5d8f03027e9e413484d4ce4a9281e4bc:6e5a92d69a8e44b8a93f074db61e6920@localhost:9000/2') #自己sentry的api key

PRIVAL_SEVERITY = {
    0 : logging.CRITICAL,
    1 : logging.CRITICAL,
    2 : logging.CRITICAL,
    3 : logging.ERROR,
    4 : logging.WARNING,
    5 : logging.INFO,
    6 : logging.INFO,
    7 : logging.DEBUG,
}

PRIVAL_FACILITY = {
    0 : "LOG_KERN",
    1 : "LOG_USER",
    2 : "LOG_MAIL",
    3 : "LOG_DAEMON",
    4 : "LOG_AUTH",
    5 : "LOG_SYSLOG",
    6 : "LOG_LPR",
    7 : "LOG_NEWS",
    8 : "LOG_UUCP",
    9 : "LOG_CRON",
    10 : "LOG_AUTHPRIV",
    16 : "LOG_LOCAL0",
    17 : "LOG_LOCAL1",
    18 : "LOG_LOCAL2",
    19 : "LOG_LOCAL3",
    20 : "LOG_LOCAL4",
    21 : "LOG_LOCAL5",
    22 : "LOG_LOCAL6",
    23 : "LOG_LOCAL7",
}

def prival(prival):
    sev_num = prival % 8
    fac_num = (prival - sev_num) / 8
    return (PRIVAL_SEVERITY[sev_num], PRIVAL_FACILITY[fac_num])

class SimpleHandler(SyslogHandler):
    def handle_entry(self, entry):
        level, fac = prival(entry.prival)
        client.name = entry.hostname

        data = {'level': level, "culprit" : ".".join([fac, entry.app_name]),
                'logger' : ".".join([fac, entry.app_name])}

        client.capture('Message', message=entry.msg,
                            date=entry.timestamp, data=data)

s = SyslogServer(('192.168.1.101', 10514), SimpleHandler) #  rsyslog->10514->handler->sentry
s.serve_forever()

这样在Test PC上由supervisor产生的日志就会通过rsyslog发送给这个脚本，这个脚本再统一发给Sentry，最后同样的方法将Sentry和该脚本也加入到supervisor中进行监控。

详细参考：

http://ashin.sinaapp.com/article/139/
http://ashin.sinaapp.com/article/143/
http://ashin.sinaapp.com/article/144/
http://ashin.sinaapp.com/article/145/