时序数据: 即时间序列数据,带时间标签的数据,主要由电力行业、化工行业等各类型实时监测、检查与分析设备所采集、产生的数据,这些工业数据的典型特点是:产生频率快(每一个监测点一秒钟内可产生多条数据)、严重依赖于采集时间(每一条数据均要求对应唯一的时间)、测点多信息量大(常规的实时监测系统均有成千上万的监测点,监测点每秒钟都产生数据,每天产生几十GB的数据量)。
比如,带有时间标签的访问nginx的http request日志:10.73.244.166|10.75.14.36|remote user|2016-10-1719:00:00|GET /interface/intf/get_enterpriseV2_fans_platform_article_publish.jsp?uid=2292533727&sdate=2014-10-01&edate=2016-10-1
5 HTTP/1.1|-|200|62|http://e.weibo.com/v1/public/interface/dashboard/gmsg?uid=2292533727|0.002|EPF at weibo.com|127.0.0.1:808
时序监控系统:就是为了查看时序数据在每个时间点的情况,时间标签就是时间点。
结构
Fluented
日志采集器,把日志转化成json格式然后导入数据库。
介绍和安装地址:http://docs.fluentd.org/articles/quickstart
在这里只介绍Fluented采集nginx log入Influxdb;
1.安装Influxdb插件,安装方法:http://www.fluentd.org/guides/recipes/syslog-influxdb
2.