Tsar开源：淘宝内部大量使用的系统监控工具

Tsar介绍

Tsar是淘宝的一个用来收集服务器系统和应用信息的采集报告工具，如收集服务器的系统信息（cpu，mem等），以及应用数据（nginx、swift等），收集到的数据存储在服务器磁盘上，可以随时查询历史信息，也可以将数据发送到nagios报警。

Tsar能够比较方便的增加模块，只需要按照tsar的要求编写数据的采集函数和展现函数，就可以把自定义的模块加入到tsar中。

Tsar安装 

Tsar目前托管在github上，下载编译安装步骤:

$git clone git://github.com/kongjian/tsar.git
$cd tsar
$make
$make install

安装后：

1. 定时任务配置:/etc/cron.d/tsar，负责每分钟调用tsar执行采集任务；
2. 日志文件轮转配置:/etc/logrotate.d/tsar，每个月会把tsar的本地存储进行轮转；
3. Tsar配置文件路径：/etc/tsar/tsar.conf，tsar的采集模块和输出的具体配置；
4. 模块路径：/usr/local/tsar/modules，各个模块的动态库so文件；

Tsar配置

Tsar刚安装完，还没有历史数据，想要check是否正常，执行tsar -l，查看是否有实时信息输出：

Tsar的配置主要都在/etc/tsar/tsar.conf中，常用的有：

• 增加一个模块,添加 mod_<yourmodname> on 到配置文件中
• 打开或者关闭一个模块,修改mod_<yourmodname> on/off
• output_stdio_mod 能够配置执行tsar时的输出模块
• output_file_path 采集到的数据默认保存到的文件（如果修改的话需要对应修改轮转的配置/etc/logrotate.d/tsar）
• output_interface 指定tsar的数据输出目的，默认file保存本地，nagios/db输出到监控中心/数据库中，这两个功能还需要结合其它配置，具体见后面

Tsar使用 

• 查看历史数据，tsar
• -l/--list 查看可用的模块列表
• -l/--live 查看实时数据,tsar -l --cpu
• -i/--interval 指定间隔，历史,tsar -i 1 --cpu
• --modname 指定模块,tsar --cpu
• -s/--spec 指定字段,tsar --cpu -s sys,util
• -d/--date 指定日期,YYYYMMDD或者n代表n天前
• -C/--check 查看最后一次的采集数据
• -d/--detail 能够指定查看主要字段还是模块的所有字段
• -h/--help 帮助功能

高级功能 

• 输出到nagios

配置： 首先配置output_interface file,nagios，增加nagios输出

然后配置nagios服务器和端口，以及发送的间隔时间

####The IP address or the host running the NSCA daemon
server_addr nagios.server.com
####The port on which the daemon is running - default is 5667
server_port 8086
####The cycle of send alert to nagios
cycle_time 300

由于是nagios的被动监控模式，需要指定nsca的位置和配置文件位置

####nsca client program
send_nsca_cmd /usr/bin/send_nsca
send_nsca_conf /home/a/conf/amon/send_nsca.conf

接下来指定哪些模块和字段需要进行监控，一共四个阀值对应nagios中的不同报警级别

####tsar mod alert config file
####threshold [hostname.]servicename.key;w-min;w-max;c-min;cmax;
threshold cpu.util;50;60;70;80;

• 输出到Mysql

配置： 首先配置output_interface file,db，增加db输出

然后配置哪些模块数据需要输出

output_db_mod mod_cpu,mod_mem,mod_traffic,mod_load,mod_tcp,mod_udpmod_io

然后配置sql语句发送的目的地址和端口

output_db_addr console2:56677

目的地址在该端口监听tcp数据，并且把数据入库即可，可以参照 tsar2db。

模块开发

Tsar的一个比较好的功能是能够增加自己的采集，这时候需要编写模块代码，编译成so文件即可。

首先安装tsardevel，刚才安装时，如果执行make tsardevel，就会把模块开发的基本文件安装到系统 然后执行tsardevel ，就能在当前模块生成一个模块目录：

[kongjian@v132172.sqa.cm4 tsar]$ tsardevel test
build:make
install:make install
uninstall:make uninstall
[kongjian@v132172.sqa.cm4 tsar]$ ls test
Makefile  mod_test.c  mod_test.conf

按照要求修改mod_test.c中的read_test_stats，set_test_record 完成后make;make install就完成新模块的配置文件和so的设置，执行tsar --test就能查看效果。

另外也可以通过配置文件对自定义模块传递参数，方法是修改配置文件中的mod_test on myparameter 然后在mod_test.c中的read_test_stats函数中，通过parameter参数就可以获得刚才配置文件中的内容。

使用：

命令行使用

tsar命令行主要担负显示历史数据和实时数据的功能，因此有控制展示模块和格式化输出的参数，默认不带任何参数/选项的情况下，tsar打印汇总信息。

tsar命令行主要显示给人看的，所以数据展示中都进行了k/m/g等的进位。

tsar命令会在显示20行数据后再次打印各个列的列头，以利于用户理解数据的含义。

tsar的列头信息包括2行，第一行为模块名，第二行为列名。

tsar输出最后会作min/avg/max的汇总统计，统计所展示中的最小/平均/最大数据。

常用参数：

--help/-h 显示提示信息和模块信息

[like@mmdev5]tsar -h
Usage: tsar [options]
Options:
--cron/-c run in cron mode, output data to file
--interval/-i specify intervals numbers, in minutes if with --live, it is in seconds
--list/-L list enabled modules
--live/-l running print live mode, which module will print
--ndays/-n show the value for the past days (default: 1)
--merge/-m merge multiply item to one
--help/-h help
Modules Enabled:
--swap swap usage
--partition Disk and partition usage
--cpu CPU share (user, system, interrupt, nice, & idle)
--mem Physical memory share (active, inactive, cached, free, wired)
--traffic Net traffic statistics
--load System Run Queue and load average
--tcp TCP traffic (v4)
--udp UDP traffic (v4)
--tcpx TCP connection data
--pcsw Process (task) creation and context switch

--live/-l 启用实时模式，类似iostat等，可以配合-i参数和模块参数使用。

--interval/-i 控制时间间隔，在打印历史数据中，单位是分钟，默认显示间隔5分钟；而实时模式（-l）下，单位是秒，默认是5秒。

--ndays/-n 控制显示多长时间的历史数据，默认1，单位天

--merge/-m 对有多个数据的展示，进行汇总，如机器上跑了3个squid，可以用 tsar --squid -m的放式进行展示汇总。

--cron 用于cron运行tsar采集功能。

常见用法列表：

tsar -i 1 -l 以1秒钟为间隔，实时打印tsar的概述数据

[like@mmdev5 conf]$ tsar -i 1 -l
Time        ---cpu-- ---mem-- ---tcp-- -----traffic---- --sda---  ---load- 
Time          util     util   retran    pktin  pktout     util     load1   
13/05-18:44    0.5     18.4      0.0     75.0   525.0      3.3      0.1   
13/05-18:44    0.4     18.4      0.0     93.0   544.0      0.0      0.1   
 

tsar 显示1天内的历史汇总（summury）信息，以默认5分钟为间隔

tsar --cpu -i 1 显示一天内cpu的历史信息，以1分钟为间隔

tsar --live --mem -i 2 以2秒钟为间隔，实时打印mem的数据。

tsar --cpu --mem -i 1 显示一天内的cpu和内存历史数据，以1分钟为间隔。