elk有必要mysql吗_请各位大拿帮忙分析一下,使用ELK做日志数据挖掘的优缺点?...

(盗用)踩过的部分坑

1. 删除sincedb_path文件,但logstash没有重新读取日志文件 logstash读取一个文件时,会通过sincedb_path这个记录查看日志文件已经读取的位置,因此,如果想要从头读取日志文件,需要删除sincedb_path这个文件。但是如果该日志文件在24小时(默认)内没有修改,logstash会忽略该文件,因此,不会重新读取该日志文件。此时还需要在File Input中定义ignore_older=>0,该属性默认值为24小时。

2. 有多个File Input时,sincedb_path文件记录的方式在Input Filter中,我们可以定义多个File Input,在一个File Input中,我们又可以读取多个file。对于同一个File Input,无论有多少个file,file的读取位置都会存储在一个sincedb_path中,每一个file用一行来表示;对于不同的Input File,需要指定不同的sincedb_path文件。

2017年1月5日17:38:05

elk就不夸他了,怕骄傲。新年第一答,

日志数据挖掘上面有这么几个节点:

采集,不采集说什么挖掘。

分析,不分析谈什么数据价值,单纯维度上的数据很难产生大的价值,比如人不交易,物品也没有任何价值。

预判,当然这个属于智能运维的下一步,目前大的发展方向是如此,国外较早的Splunk、国内日志易产品。但是智能运维这个场景到底发展成什么样子就走着看了。

写前面: ELK指Elasticsearch/Logstash/Kibana这3个开源软件的组合

说说它的几个痛点:

1、 三个独立的系统,没有统一的部署、管理工具,用户需要分别部署及管理这三套系统

2、复杂业务下权限的分组管理,企业肯定希望每个业务部分看自身的,但又存在矛盾点,企业想看汇总情况。

3、安全漏洞,之前乌云网站曾爆出Elasticsearch存在严重的安全漏洞。

4、不进行深度开发的话,数据挖掘能力弱弱弱~

等等2017年1月3日17:44:53

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值