(盗用)踩过的部分坑
1. 删除sincedb_path文件,但logstash没有重新读取日志文件 logstash读取一个文件时,会通过sincedb_path这个记录查看日志文件已经读取的位置,因此,如果想要从头读取日志文件,需要删除sincedb_path这个文件。但是如果该日志文件在24小时(默认)内没有修改,logstash会忽略该文件,因此,不会重新读取该日志文件。此时还需要在File Input中定义ignore_older=>0,该属性默认值为24小时。
2. 有多个File Input时,sincedb_path文件记录的方式在Input Filter中,我们可以定义多个File Input,在一个File Input中,我们又可以读取多个file。对于同一个File Input,无论有多少个file,file的读取位置都会存储在一个sincedb_path中,每一个file用一行来表示;对于不同的Input File,需要指定不同的sincedb_path文件。
2017年1月5日17:38:05
elk就不夸他了,怕骄傲。新年第一答,
日志数据挖掘上面有这么几个节点:
采集,不采集说什么挖掘。
分析,不分析谈什么数据价值,单纯维度上的数据很难产生大的价值,比如人不交易,物品也没有任何价值。
预判,当然这个属于智能运维的下一步,目前大的发展方向是如此,国外较早的Splunk、国内日志易产品。但是智能运维这个场景到底发展成什么样子就走着看了。
写前面: ELK指Elasticsearch/Logstash/Kibana这3个开源软件的组合
说说它的几个痛点:
1、 三个独立的系统,没有统一的部署、管理工具,用户需要分别部署及管理这三套系统
2、复杂业务下权限的分组管理,企业肯定希望每个业务部分看自身的,但又存在矛盾点,企业想看汇总情况。
3、安全漏洞,之前乌云网站曾爆出Elasticsearch存在严重的安全漏洞。
4、不进行深度开发的话,数据挖掘能力弱弱弱~
等等2017年1月3日17:44:53