elk有必要mysql吗_请各位大拿帮忙分析一下，使用ELK做日志数据挖掘的优缺点？...

(盗用)踩过的部分坑

1. 删除sincedb_path文件，但logstash没有重新读取日志文件 logstash读取一个文件时，会通过sincedb_path这个记录查看日志文件已经读取的位置，因此，如果想要从头读取日志文件，需要删除sincedb_path这个文件。但是如果该日志文件在24小时(默认)内没有修改，logstash会忽略该文件，因此，不会重新读取该日志文件。此时还需要在File Input中定义ignore_older=>0，该属性默认值为24小时。

2. 有多个File Input时，sincedb_path文件记录的方式在Input Filter中，我们可以定义多个File Input，在一个File Input中，我们又可以读取多个file。对于同一个File Input，无论有多少个file，file的读取位置都会存储在一个sincedb_path中，每一个file用一行来表示；对于不同的Input File，需要指定不同的sincedb_path文件。

2017年1月5日17:38:05

elk就不夸他了，怕骄傲。新年第一答，

日志数据挖掘上面有这么几个节点：

采集，不采集说什么挖掘。

分析，不分析谈什么数据价值，单纯维度上的数据很难产生大的价值，比如人不交易，物品也没有任何价值。

预判，当然这个属于智能运维的下一步，目前大的发展方向是如此，国外较早的Splunk、国内日志易产品。但是智能运维这个场景到底发展成什么样子就走着看了。

写前面： ELK指Elasticsearch/Logstash/Kibana这3个开源软件的组合

说说它的几个痛点：

1、 三个独立的系统，没有统一的部署、管理工具，用户需要分别部署及管理这三套系统

2、复杂业务下权限的分组管理，企业肯定希望每个业务部分看自身的，但又存在矛盾点，企业想看汇总情况。

3、安全漏洞，之前乌云网站曾爆出Elasticsearch存在严重的安全漏洞。

4、不进行深度开发的话，数据挖掘能力弱弱弱~

等等2017年1月3日17:44:53