Logstash-数据收集、解析和转存

本文作者：罗海鹏，叩丁狼高级讲师。原创文章，转载请注明出处。

前言

最近这几年，大数据一直都是很热门的话题，很多人会顾名思义的觉得，大数据就是你现在手上有大量的数据。从某个层面上来看，这确实是这样的，但是所谓的大数据不仅仅只是有一堆的数据在这，更重要的是我们要如何解析这堆数据，让它变成有意义或者说有参考价值的数据。而我们知道，在我们应用运行的过程中会产生大量的日志文件，做开发的人都知道，这些日志文件有系统日志，有错误日志，有警告日志还有正常的消息日志，这些日志长年累日的堆积，就成了大数据了。然而，做运维的人都知道，这些日志是杂乱无章的存放着的，一个日志文件又密密麻麻的信息，就算是天天闲着没事干也不想打开这些日志文件来看，甚至是恨不得把这些日志文件删掉。除非等应用出现了问题后，才会去看看日志到底是什么问题。那这样的话，这些日志就成了一堆没用的大数据了。其实，这些日志如果利用的好的话，是很有价值的数据，因为我们可以对这些日志进行各种分析和各个维度的归类，然后以类似报表或图形化的方式展现这些数据，从而快速和直观的了解我们应用的各个指标信息，达到性能监控、问题预警、快速响应和处理及时的目的。

数据的转存

然后理想很丰满，现实很骨感，我们希望分析这些日志文件，但如何分析才是重点！不过这个问题很快就有解决方案了。我们先来思考一下，我们为什么不想看这些日志文件？那不就是因为这些日志文件存放数据非常不直观，看起来很费劲，并且在这茫茫字海中也很难找到我们想要关注的数据。那既然这样的话，我们是否可以把这些存在文件中的日志数据转存到一个可以按各个维度结构化归类的数据库中。同时该数据库必须具备高性能的全文检索能力，因为这些日志通常来说都是文档类型的数据，并且搜索我们想要关注的某些数据，这个操作是很关键的。最后，该数据库还必须支持存储海量数据，并且不会随着数据量增加而导致搜索速度下降。那么有什么样的数据库是有我以上提到的这些能力的呢？答案就是我们现在研究的elasticsearch这个搜索服务器了，elasticsearch具备的这些能力，在我们之前章节已经有了解了。所以要对这些数据进行分析，解决方案很明显，就是把这些数据转储到elasticsearch中。