splunk 日志分析_日志管理工具面对面：Splunk与Logstash与Sumo Logic

splunk 日志分析

领先的日志管理工具之间的主要权衡是什么，以及如何选择最适合您的工具？

我不了解您，但是对我来说，感觉就像日志文件是生产环境的产物。 你把目光移开了一秒钟，突然之间它们繁殖繁殖了 。 写入日志文件每天可能会占用GB的数据，所有数据都是非结构化的，并且可能来自多个计算机和源。 这就是日志管理工具的用武之地。当然，决定使用日志管理工具只是第一步。 接下来，您实际上必须决定要使用哪一个。 这可能是一个相当大的决定。 根据您选择的工具，您可能必须将其编织到整个代码中，或者自行设置和安装整个组件。 无论哪种方式，更改这些工具的成本都可能很高。

话虽如此，让我们看一下并比较该领域中的一些工具。 今天，我将比较Logstash ， Splunk和Sumo Logic 。 还有更多值得考虑的工具，例如Loggly ，但是这三个工具很好地表示了可用的不同类型。 您可以在我们刚刚发布的新电子书中阅读有关日志管理工具的更多信息： 生产工具权威指南 。

新话题：日志管理工具对峙： @splunk与@logstash与@SumoLogic http://t.co/R2D7cYGNmT pic.twitter.com/OXneeng4D8

— Takipi（@takipid） 2015年4月8日

入门

首先是第一件事。 这些工具到底是什么？ 我们今天使用的三个工具涵盖本地，SaaS和开源模型。 所有这三个工具旨在帮助您管理和分析日志文件。 它们都适用于大多数操作系统，并且可以处理多种日志文件格式。 与往常一样，值得进行两次检查，以确保您选择的工具可以在特定的数据风格下正常工作，然后再进行部署。

Splunk： Splunk是日志管理工具领域中的佼佼者。 它是最以企业为中心的工具，可以作为本地模型使用。 使用Splunk，您可以获得最多的功能和最多的集成，但是价格却最高。 为了跟上日志管理环境的变化，他们还为中小企业提供了SaaS版本和便宜的轻量级版本。 在这篇文章中，我将重点介绍他们的主要产品。

Splunk的搜索仪表板

Sumo Logic： Sumo Logic最初尝试是Splunk的SaaS版本。 随着它们的成熟，它们已经按照自己的方式发展了，但是从一开始，它们便是功能最丰富，以企业为中心的SaaS日志管理工具之一。

Logstash： Logstash是一种开源日志管理工具，最常与ElasticSearch和Kibana一起用作ELK堆栈的一部分。 在ELK堆栈中，Logstash充当日志工作的角色，创建用于存储，搜索和分析日志文件的集中式管道。 它使用内置的过滤器，输入和输出以及一系列插件，为日志提供强大的功能。

底线：本地，SaaS和开源都在这篇文章中表示。 这些工具被设计用于相同的目的-日志管理-但它们以不同的方式完成此任务。

安装

这些工具的安装和设置非常不同。 本地，SaaS和开源–所有内容都在此处介绍。

Splunk： Splunk Enterprise是一种本地模型，这意味着您将在本地进行设置。 安装Splunk将在您的主机上放置一个进程，该进程充当用于访问，处理和索引流数据的分布式服务器。 根据您的操作系统，可能会安装更多用于控制，监视和配置Splunk某些元素的进程。 由于Splunk是本地的，因此您需要规划所需的硬件和空间容量。

Sumo Logic： Sumo Logic是SaaS模型，这意味着您将建立与Sumo Logic云的通信。 Sumo Logic为收集器提供了两个选项-托管和安装。 托管收集器不需要本地安装，直接由Sumo Logic托管。 使用托管的收集器，您将需要具有AWS并添加S3或HTTP源才能将数据上传到收集器。 对于已安装的收集器，您需要将其本地安装在环境中的计算机上。 一旦这样做，您将需要配置将收集的日志并将其发送到Sumo Logic的源。 安装的收集器可以与SSH，Syslog和脚本等源一起使用。 Sumo Logic是一个多租户设计，可以防止容量和扩展限制，因为它允许对单个收集器使用多个日志源。

Logstash： Logstash是开源的，这意味着您将在自己的系统上进行全部设置。 需要注意的一件事是Logstash需要安装Java运行时。 安装Logstash要求下载二进制文件并将其解压缩到本地系统上。 通常，建议还包括Elasticsearch作为您存储日志的后端。 设置完成后，您将需要配置所需的输入，过滤器和输出。 开源意味着您将需要提供所需的硬件和空间，但是就开源工具而言，Logstash是一个相当简单的安装过程。

底线：这些工具的安装和设置有很大的不同，正如您期望的那样，当一种工具处于本地，一种SaaS和一种开放源代码时。 您更喜欢哪一种取决于您喜欢的工具类型。 需要考虑的一些因素是您是否要在环境中保留事物，以及是否要自己管理容量和硬件。

特征

这些工具之间有很多相似之处，但是其中一些差异对您可能很重要。 一旦确定了您希望日志管理工具能够完成的工作，就可以更快地为您选择合适的工具。

Splunk： Splunk可能是功能最丰富的日志管理工具。 Splunk的搜索和图表工具功能丰富，以至于可能没有用户无法通过其UI或API获得的数据集，并且它具有适合企业工具的，基于高可用性和可扩展性的广泛功能。 安全性是广泛的，它可以处理大量机器数据。

Sumo Logic：就SaaS日志管理工具而言，Sumo Logic是功能最丰富的工具之一。 Sumo Logic最初是作为SaaS版本的Splunk启动的，因此具有很多类似功能。 它具有减少，搜索和绘制海量数据量的功能。 Sumo Logic的主要吸引力之一是能够建立基准并在事件（例如推出新版本或尝试破坏）后关键指标发生变化时主动通知您。

Sumo Logic仪表板

Logstash： Logstash非常适合集中和统一数据。 它可以解析不同格式的数据，并将其聚合为一种通用格式，供您的分析工具使用。 由于其开源性质，将其扩展为自定义日志格式或为自定义数据源添加插件很简单。 就其本身而言，它没有提供太多的前端或后端方式，这就是为什么ELK堆栈是首字母缩写词的原因。

底线：就功能而言，Splunk居首位。 在大型企业之外，您可能不需要Splunk提供的大量功能，在这种情况下，Sumo Logic可能会为您提供服务。 Logstash的开放源代码性质使您可以最大程度地控制在自己的开发和社区之间使用该工具可以执行的操作。

仪表板和用法

选择工具时的另一个考虑因素是易用性，坦率地说，它是否看起来不错。 本节介绍了这三个工具的仪表板和用法。

Splunk： Splunk使您能够创建和管理自己的仪表板。 它们提供了一系列数据可视化选项，例如表格，图表和事件列表。 默认情况下，仪表板是使用简单XML创建的，但是如果您想获得更高级的功能，可以使用一些扩展。 在Splunk中，您可以查看特定页面或构建具有多个不同度量面板的仪表板。 仪表板可以用XML代码构建，也可以通过Splunk仪表板编辑器构建。

Sumo Logic： Sumo Logic也使用基于面板的仪表板系统。 它们提供实时数据，但是在仪表板中可以看到的查询类型有一定的限制。 创建面板在很大程度上很简单。 大多数信息以基于图表的方式显示。

Sumo Logic日志分析快速入门仪表板

Logstash：就其本身而言，Logstash根本不会为您提供仪表板。 Logstash使您可以灵活地确定在何处以及如何输出数据。 作为ELK堆栈的一部分，Kibana经常用作前端报告和可视化工具，但是对于许多其他可视化和指标工具（例如Graphite，Librato和DataDog），也有现有的输出选项。

Kibana上的Logstash

底线：如果您尚未使用单独的可视化和指标工具，那么选择Logstash意味着您很快还将添加其中之一。 Splunk以XML或拖放方式为您提供了灵活的仪表板和可视化平台。 Sumo Logic还为您提供了基于面板的仪表板，重点是实时数据。

集成和插件

选择工具时，一个重要的考虑因素是它与现有工作流程和工具生态系统的集成程度。 对于日志管理工具，您要确保该工具可以处理日志数据的格式并可以与您的环境同步。

Splunk： Splunk都是关于他们的插件的，有600多个可用。 他们中的许多人专注于Splunk的IT运营，安全性和合规性以及实用程序。 有了这么多的插件，您很可能能够使用Splunk来理解任何格式的日志数据。

Splunk集成

Sumo Logic： Sumo Logic的应用程序针对特定的大型工具，包括开发自动化工具，云平台，OS平台以及合规性和安全性工具。 Sumo Logic涵盖了主要工具，但是如果您使用的是更小或更晦涩的工具，它们将没有为此设计的应用程序。

Logstash：作为一种开源工具，Logstash具有不断增长的插件环境。 截止到今天，已有160多个插件可用，其中许多来自社区。 由于该工具具有开源特性，因此这些插件的文档和设计非常清晰，如果您愿意投入工作，则可以根据自己的意愿更改它们。

底线：如果您的环境由可用的较大工具和平台组成，则这三个工具和平台都将具有可用的插件和集成，但是随着您变得越来越小，越来越晦涩，Splunk将会大放异彩。

价钱

当然不能忘记定价。 使用这三个工具，这里存在真正的差异，这些差异可能会对您的决策业务方面产生重大影响。 正是在这里，模型之间的差异得以解决。

Splunk ：每年$ 1800 – $ 60,000，具体取决于所需的每日GB容量。 Splunk提供批量折扣，但通常是这里最昂贵的工具。

Sumo Logic ：免费精简版，每月每GB /天需要$ 90，最高20 GB。 使用Sumo Logic，大规模生产可能会变得非常昂贵，但入门级价格却更为友好。

Logstash：免费，尽管有付费订阅可提供专业支持和通过Elastic.co进行监视。 这给您带来的成本是运行设备所需的设备和带宽。

底线：此处的工具之间存在很大差异。 Splunk非常昂贵，在现实世界中的应用程序需要数万美元。 尽管规模很大，但Splunk具有批量折扣，这使其与其他工具的定价更加一致。 Sumo Logic通过SaaS模型工作，但使用线性定价模型，可以大规模地相当于Splunk成本。 Logstash是开源的，这当然意味着该工具本身是免费的，尽管您需要安装和运行它的设备并非如此。

文档和社区

也许您是一个能够使用工具完全自给自足的人，在这种情况下，本部分对您而言并不重要。 对于我们其他人来说，当我们碰壁或需要帮助时，良好的文档和活跃的社区可能是一大福音。 本节介绍了这三个工具在这方面的工作情况。

Splunk： Splunk具有出色的文档资料 。 信息清晰明了且井井有条，并且它们甚至都有一个下拉菜单，可让您查看任何版本的文档，因此可以确保所阅读的内容是针对所使用的Splunk版本编写的。 在社区方面，他们有一个基于论坛的社区部分，用于回答似乎很活跃的问题和答案。

Splunk文档

Sumo Logic： Sumo Logic 支持区域很差。 它很难导航，组织不善，而且通常看起来很旧。 他们确实有一个社区部分，您可以在其中提问，但这也令人困惑。 有一个单独的服务部分，可以提供更多传统的文档感觉，但是很难找到（不从网站链接），并且比其他工具更简单。 他们肯定在该地区排名第三。

Logstash：Logstash的文档集中且内容广泛。 许多入门和插件文档都相当不错，但其中的一些内容在页面之间并不一致，就像开放源代码工具可能会发生的那样。 如果您想深入研究它，则可以提供大量信息，以指导您做任何想做的事情。 在社区方面，有一个邮件列表和IRC频道，您可以在其中询问问题，报告错误或请求功能。

底线：工具之间在这方面存在一些实际差异。 Splunk在文档和社区方面做得很好，Logstash提供了坚实的基础，而Sumo Logic…并没有将重点放在这一领域。

无论使用哪种工具，在大量的日志文件中进行筛选都是一件繁琐的事情，而且会变得昂贵。 最重要的是，将所有数据写入日志文件可能会拖累应用程序的性能和开销。 因此，另一种方法是减少写入日志文件的数量以及减少对日志文件进行故障排除的依赖。 Takipi是一种在不牺牲故障排除能力的情况下实现此目的的方法。

Takipi的生产错误分析工具

Takipi在JVM级别工作，以捕获错误的完整代码和变量数据，而无需依赖日志文件。 减少对日志文件的写入和筛选，并获得可操作的信息以同时修复错误。 检查一下 。

结论

当然，这里有比我这里介绍的更多的日志管理工具选项，但是这里的内容为您提供了该领域主要工具类型的一个很好的例子。 在这三个工具之间进行选择取决于几个因素。 主要因素之一将是您熟悉的部署模型。 本地，SaaS和开源都有各自的优缺点，需要仔细检查您的需求和环境。 根据您想要进行的控制和愿意付出的努力，您将更倾向于一种或另一种。 其他因素包括不同工具的成本，可扩展性和额外功能。 并非所有场景都能胜出。 这里没有“两个人进入，一个人离开” Thunderdome风格的下拉列表，但是根据您环境的具体情况，这些工具之一（或其他日志管理选项）可能最适合您。 如果只有用于开发人员工具的Thunderdome，则使用哪个工具？ 在下面的评论部分让我们知道。

翻译自: https://www.javacodegeeks.com/2015/04/log-management-tools-face-off-splunk-vs-logstash-vs-sumo-logic.html

splunk 日志分析