文章目录
RRDtool 数据库
RRDtool 介绍
RRDtool 旨在存储时间序列数据。每次数据更新时,都会存储一个相关的时间戳。时间始终以自纪元 (01-01-1970) 以来经过的秒数表示。RRDtool 可以安装在 Unix 和 Windows 上。它带有一个命令集,用于对 RRD 数据库执行各种操作。
RRDtool 适合场景
只要存储数据为某种时间序列数据,它可能就适合(如:带宽,流量,潮汐波、太阳辐射、电力消耗等等)。这意味着您必须能够在多个时间点测量某些值并将此信息提供给 RRDtool。如果你能做到这一点,RRDtool 将能够存储它。这些值必须是数字,但不必是整数。
RRDtool 的特性
RRD 数据库的结构不同于其他线性数据库。其他数据库定义具有列和许多其他参数的表。这些定义有时非常复杂,尤其是在大型数据库中。RRDtool 数据库主要用于监控目的,因此结构非常简单。需要定义的参数是保存值的变量和这些值的存档。由于时间敏感,还定义了几个与时间相关的参数。由于其结构,RRDtool 数据库的定义还包括规定在没有更新值的情况下要采取的具体行动。Data Source (DS)、heartbeat、Date Source Type (DST)、Round Robin Archive (RRA) 和 Consolidation Function (CF) 是与 RRDtool 数据库相关的一些术语。特点如下:
-
RRDtool 作为一个数据库,但它有一个强大的绘图引擎,可以根据数据库内容,通过 rrdtool graph 命令生成 png 格式的图片,这一点使其看起来又像一个前端工具。
-
RRDtool 是一个基于时间序列的环形数据库。可以看成是一个圆,圆周上有一些均匀分散的点。这些点就是数据存储的位置。从圆心画一条到圆周的某个点的箭头,这个箭头就是指向当前元素的指针。在当前元素被读或写之后,指针就往下一个元素移动。当所有位置都被用过,原来的位置就会被重用。这样,数据库文件大小是固定的,而不像其他数据库文件的大小随着时间而增加。
-
RRDtool 可以对收到的数据进行计算,例如前后两个数据的变化程度,并存储该结果。
-
RRDtool 要求定时获取监控数据,如果在一个时间间隔内(heartbeat)内没收到值,该时间段的值则用UNKN(unknow)代替。
RRDtool 下载与安装
RRDtool 支持windows 和 linux 系统。官网地址
接下来以 centos7.6 为例
通过 yum 安装
yum install -y rrdtool # 目前能安装 1.4.8 版本
# 安装工具
yum install -y gcc
yum install -y rrdtool-python
# 卸载旧版本
yum erase rrdtool -y
RRDtool 的使用
rrdtool create
rrdtool create filename
[--start|-b start time]
[--step|-s step]
----- 不常用 -----
[--template|-t template-file]
[--source|-r source-file]
[--no-overwrite|-O]
[--daemon|-d address]
----- 不常用 -----
[DS:ds-name:DST:dst arguments] // 最后获取的数据是PDP,更新数据时要考滤DS顺序(*把所有要更新的数据,按照DS定义的顺序用冒号格开*)
[RRA:CF:cf arguments] // 最后获取的数据是CDP,绘图时使用的是这些数据
描述
RRDtool 的创建功能可让您设置新的循环数据库 ( RRD ) 文件。除非指定了一个或多个源RRD文件并且它们包含合适的数据以“预填充”新的RRD文件,否则该文件以其最终的完整大小创建并填充UNKNOWN数据。
filename: 默认为.rrd为后辍的文件,名称自己随意取;
--start: 指定RRDtool的第一个记录的起始时间,--start选项的值必须是timestamp的格式。
如查你想自己设定时间可以使用--start $(date -d '1 days ago' +%s) ,当然还有一种方法就是使用rrdtool fetch filename.rrd AVERAGE;
--step: 就是RRDtool“期望”每隔多长时间就收到一个值;
DS: 用于定义数据源;
ds-name: 指定数据源的名字,随意取。必须是1到19个字符,且是a-z、A-Z、或者0-9;
DST: 定义源数据类型,源数据类型分以下几种:
1、COUNTER 数据必须是递增的,保存的是相对于前面的一个值
2、GUAGE 保存原值
3、DERIVE 可增可减
4、ABSOLUTE 相对于初始值的数值
5、COMPUTE 对于COMPUTE数据源来说格式是DS:ds-name:COMPUTE:rpn-expression
dst argument:数据源参数,形式是: heartbeat:min:max
heartbeat: 定义在我们这个时间跨度之内,再过多长时间过期,过期的标记为unknown;
min: 接收的最小值,一般我们可以都设为0;
max: 接收的最大值,如果不是很清楚其最大值可以设置为U;
RRA: 用于指定数据如何存放;
CF: 指定数据合并方法,合并方法分以下几种:
1、average 平均值
2、max 最大值
3、min 最小值
4、last 当前值
cf arguments:数据保存,它的形式是: xff:steps:rows
xff: 默认值为0.5 定义PDP中出现unknown的百分比高于设置的这个比例以后CDP也被标记为unknown,如果24个 PDP中有12个或者超过12个 PDP 的值是 UNKNOWN ,则该 CPD 就无法合成,或者合成的结果为 UNKNOWN;如果是11个 PDP 的值为 UNKNOWN ,则该 CDP 的值等于剩下 13 个 PDP 的平均值。
steps: 聚合函数对多少个pdp做聚合生成cdp;
rows: 保存多少个聚合的cdp结果;
PDP与CDP与CDP 关系图
PDP(Primary Data Point): 主数据点
CDP(Consolidation Data Point): 聚合数据点
解析度(resolution): 指的就是时间跨度
DS(Data Source): 数据源,每一个数据源都可以对其做单独的聚合
示例
"rrdtool create" + filename +\
" --start now-1h " +\ // 从1小时前开始
"--step 60 " +\ // 每分钟获取一次
"DS:latency:GAUGE:120:0:U " +\ // 保存原值, 120s过期时间, 最小0 最大不限
"RRA:AVERAGE:0.5:1:1y " +\ // 平均值,50% 的比例, 1个pdp制作一个 cdp,保存 1年内的值
"RRA:AVERAGE:0.5:10:1y " +\ // 平均值,50% 的比例, 10个pdp制作一个 cdp,保存1年内的值
"RRA:AVERAGE:0.5:30:1y " +\
"RRA:AVERAGE:0.5:60:1y " +\
"RRA:AVERAGE:0.5:360:1y " +\
"RRA:AVERAGE:0.5:1440:1y " +\
"RRA:AVERAGE:0.5:10080:527040 " +\
"RRA:AVERAGE:0.5:43200:527040"
rrdtool update
rrdtool {update | updatev} filename [--template | -t ds-name[:ds-name]...]
[--] N | timestamp:value[:value...]
-t : 改变接收数据的次序
例如,我们定义的rrdtool create test.rrd DS:ds1 DS:ds2,默认情况下我们想这个数据库里面输入值得话是:rrdtool update test.rrd N:30(DS1值):40(DS2值),
使用rrdtool update test.rrd -t ds2:ds1 40:30 把循序给颠倒;
N: 表示当前时间
rrdtool info
rrdtool info filename 用于查看filename的数据结构
rrdtool fetch
rrdtool fetch filename [-r #] [CF]
-r #: 指定#个PDP为一个数据;
CF: 指定使用哪种合并函数,与rrdtool create中cf argument一样;
rrdtool graph
rrdtool graph|graphv filename [option ...][datadefinition ...][data calculation ...][variabledefinition ...][graph element ...][print element ...]
[-s|--start time][-e|--end time][-S|--step seconds]
[-t|--title string][-V |--Vertical-label string ]
[-w|--width pixels][-h|--height pixels][-j|--only-graph][-D|--full-size-mode]
OPTION:
Graph Limits
[-u | --upper-limit value]: 显示数值的最大上限的值
[-l | --lower-limit value]: 显示的最低下限的值
[-r | --rigid ]: 不会自动缩放,以定义的最大值和最小值来显示
[-A | --alt-autoscale ]: 启用自动缩放,但是最大的和最小的是不能超过上面的范围
[-J | --alt-autoscale-min]: 只自动缩放最小值
[-M | --alt-autoscale-max ]: 只自动缩放最大值
[-N | --no-gridfit]: 不显示网格线
定义横轴:
X-Axis
[-x|--x-grid GTM:GST(定义基准网格线,前面是单位,后面是数值)
:MTM:MST(定义主网格线,前面的是单位,后面的是数值)
:LTM:LST(定义横轴底面的标签的单位和距离,前面是单位,后面是距离)
:LPR:LFM(显示标签的显示格式)]
[-x | --x-grid none ]
Y-Axis
[-y|--y-grid grid(刻度是什么) step(多长显示一个刻度)
:label(卷标显示是什么) factor(卷标多长时间显示一个)]:
[-y|--y-grid none ]
[-Y| --alt-y-grid]
图片全局定义
[-c| --color COLORTAGE #rrggbb[aa]]
BACK #背景色
CANVAS #画布颜色
SHADEA #左边和上边的颜色
SHADEB #右边和下边的颜色
GRID,MGRID #主网格线的颜色
FONT #字体颜色
AXIS #坐标轴的颜色
FRAME #边框颜色
ARROW #箭头的颜色
-n | --font FONTTAG(字体名字):size(大小):[font(路径)] #指定字体的参数
[-R|--font-render-mode(字体格式) {normal(正常),light(发亮),mono(粗体)}]
[-a|--imgformat PNG|SVG|EPS|PDF] #图像输出格式
[-W| --watermark string ] #加水印
数据与变量
定义数据获取方式:
DEF:vname(变量名,只能包含数字和字母,最长不能超过255字符)=rrdfile(rrd文件路径):ds-name(数据源名称):CF(聚合函数)[:step=step][:start=time][:end=time]
CDEF:vname=RPN expression
VDEF:vname=RPN expression
图片
线状图:
LINE[width(线条的粗细程度,1最细的3是最粗的)
:value(上面定义的变量名称)[#color(线条颜色)]
[:[legend(底面的标签名称)][:STACK]]
[:dashes[=on_s[,off_s[,on_s,off_s]...]
[:dash-offset=offset]
面积图:
AREA:value[#color][:[legend][:STACK]]
扩充
snmp
SNMP是基于TCP/IP协议族的网络管理标准,它的前身是简单网关监控协议(SGMP),用来对通信线路进行管理。但由于SNMP第一版没有考虑安全问题,为此SNMPv2在提高安全性和更有效性地传递管理信息方面加以改进,具体包括提供验证、加密和时间同步机制,SNMPv3的重点是安全、可管理的体系结构和远程配置。
近年来,SNMP发展更快,已经超越传统的TCP/IP环境,受到更为广泛的支持。管理信息库(MIB)存储网络的通信信息和有关网络设备的统计数据。从被管理设备中收集数据有两种方法:—种是轮询方法,另—种是基于中断的方法。