Splunk：大数据智能分析平台&全能日志分析利器

Splunk是什么？

从功能上讲，Splunk是一款功能完善、强大的机器数据(MachineData)分析平台，涵盖机器数据收集、索引、搜索、监控、分析、可视化、告警等功能。之所以说是“平台”而不仅仅是工具，是因为Splunk经过多年的发展，功能十分强大且灵活，允许用户在其上自定义应用(App)，目前其提供的官方和非官方应用多达数百个，且大多数均可以免费下载并使用；同时，Splunk还提供了强大API集，开发人员可以使用Python、Java、JavaScript、Ruby、PHP、C# 编程语言开发应用程序。

 

从技术上讲，Splunk是一个时间序列索引器(time-seriesindexer)。在Splunk索引数据时，它基于数据的时间戳(Timestamp)将数据拆分为事件(Event)。事件通常也称为记录或者数据行，并且每一个时间都有一个时间戳，它是Splunk数据分析的一个关键元素。Splunk默认使用时间戳细分事件。

Splunk公司

Splunk创建于2003，总部位于美国旧金山，2006年发布第一款产品，在全球15个国家设有办事处，拥有1000多名员工。目前Splunk只在美国旧金山、西雅图和上海设有开发中心，而亚太区总部设在香港。Splunk于2012年4月19日在纳斯达克上市，作为第一家主打“大数据”牌上市的公司，在上市首日，其发行股价大涨109%，估值达到32.8亿美元。公司的官方网址是：www.splunk.com。

目前Splunk在全球有超过7000个用户，分布在银行、电信以及一些大型企业，财富100强中超过一半是Splunk的客户，中国有超过70家企业客户。在中国市场，Splunk的业务主要集中在电信、保险和银行业等，例如银联支付、民生保险、百联支付、国美电器、中国移动和中国电信等。

 

Splunk能为企业带来什么？

Splunk可以支持任何IT 设备（服务器、网络设备、应用程序、数据库等）所产生的日志，且可以对日志进行高效搜索，并通过非常好的图形化的方式展现出来。此外Splunk的搜索功能异常强大，被称为“Googlefor IT”，正所谓用搜索引擎将IT化繁为简。其应用主要分为五大块：IT运营、应用管理、安全合规、网络智能与商业分析，适合多种不同职能类型的用户使用，包括：IT管理员、数据分析师、安全分析师和业务用户。

应用管理

开发维护一个复杂的应用程序，传统的应用软件配备不足，无法应对当今应用程序体系结构和部署环境的复杂性。Splunk能够在最短的事件内发现问 题，解决问题，并且可以提前增加预警功能，防止问题产生。另外，在Splunk过去所做的上千个案例中，将平均故障恢复时间减少了60%~80%。同时， 在故障解析时，由于不需要访问实际运用的数据库就可迅速进行检索，在加强安全性能方面也是一个优点。

 

IT运营管理

世界各地的IT数据中心都极其复杂，通过层叠并结合成千上万的不同技术和设备来提供业务服务。虚拟化和云计算加剧了这种复杂性，尤其是在出现中断或 性能问题的时候。这样会花费大量宝贵的时间。Splunk能提供更好的解决方案。它收集和索引了由IT基础结构-网络、服务器和客户操作系统、hypervisor、数据库审核线索、消息队列-产生的所有数据。它可以处理机器生成的任何数据，包括日志、文件配置、性能指标、SNMPtrap和自定义应用程序日志等等。无需使用自定义分析器或适配器。

 

安全性与合法性

安全性与合法性问题将很快地发生在企业体系机构中的任何地方。攻击签名或基于系统的规则越来越具有突变性，不仅仅是恶意的内部访问必须防范。Splunk，所有数据一起检索，事件发生时的调查瞬间不仅仅是调查，将来监视和预警结合起来可以提前发现有问题的事件。

业务分析

就业务活动而言，遇到紧要故障或者威胁，Splunk不仅能作为解决方案给出评估，还可对威胁原因且以前大量客户行为及事业活动进行分析，对收益贡 献作出评估。例如：将基本数据库及维护团队结合起来进行网站日志分析，营销策略和客户在线上线下的购买行为之间的收益关联性进行分析，基于IT基本设施使 用率的分析，Splunk对所有业务活动都可进行灵活运用。

 

Splunk与大数据

最初，Splunk大部分的收益来自IT监控和对技术设备的日志追踪。伴随着大数据的浪潮，现在Splunk已从一家部门级IT解决方案提供商成长为一家企业级数据平台提供商，将应用场景扩大到更多领域以及企业内部的更多部门。作为一个完全整合的大数据解决方案，Splunk通用的引擎能够将任何的机器数据广泛地索引，并支持任何格式的数据，而无需进行格式转换；实时的搜索引擎，带来了类似于Google的快速搜索结果；而其自主开发的类似于MapReduce的分布式架构，为系统的可扩展性提供了保证，能够轻松扩展到支持每天新增上百TB的数据，配合基于角色的数据访问控制，还能够跨多个数据中心运行。