Splunk虽无Hadoop撑腰但却分析和运维兼备



说起大数据分析平台，我们每个人基本上都会想起Hadoop，因为Hadoop在结构和非结构大数据分析领域确实无可替代。它提供了HDFS和MapReduce两个基本功能实现分布式存储和大数据索引和分析，最关键的是Hadoop建立起了自己的完整生态环境，包括数据仓库Hive、Pig、数据库HBase、DynamoDB、MongoDB和CouchDB NoSQL等等，以及Cloudera、Hortonworks、MapR等Hadoop解决方案提供商。

Hadoop从目前来看是最知名的软件架构平台，但它决不是唯一的大数据架构平台，Hadoop主要应用在消费、互联网和运营数据的分析领域。那我们今天花点时间来聊一下，专门基于IT机器设备大数据Volume、Velocity、Variety和Variability特性而设计的IT Search Engine，它叫Splunk机器数据的引擎。由于在项目中遇到，故而花了点时间进行了简单分析。

Splunk是专门设计给组织和机构使用的IT搜索引擎(SearchEngine)，它将雅虎、Google的搜寻技术与概念发扬光大，如今组织和机构可以用Splunk来管理任何复杂的 IT 系统，使用Splunk可收集、索引和利用所有应用程序、服务器和设备（物理、虚拟和云中）生成的快速移动型计算机数据。

由于Splunk这个产品专门分析IT机器设备产生的大数据，所以在大数据世界里面显得比较低调。Splunk除了具备大数据分析能力外，还突破过去各种IT管理工具(如IBM Tivoli, HP OpenView, CA UniCenter)的使用方式，Splunk采用简单易懂的关键词搜寻方式，来协助IT人员找寻与解决IT问题。从复杂的机器数据中提取有用的信息。

 

Splunk本身还是一个可用来开发处理大数据分析应用的一个平台，具备完整强大的API集，可以嵌入Python、Java、Ruby、PHP和C#等一起使用。并提供了基于浏览器界面的SplunkWeb和命令行交互接口。

IT人员就可以透过Browser使用Splunk并对组织和机构的各种ITData进行关键词搜寻，快速地得到所需要的数据，除此之外Splunk本身还具有计算能力，管理者可以透过Splunk将搜寻所得的结果立即做运算处理，产生各种报告、图表与警示，而且还可以设定Splunk进行排程定时搜寻，并将结果以Email Alert方式通知相关人员。

 

Splunk的主要功能决定了它既具备大数据分析能力，也拥有IT设备管理能力，下面我们重点看看Splunk的重要特性。

Splunk 具备多样且弹性的数据搜集方法，可以检索各种型态的IT data，不限定 IT Data format，并收集来自各种不同的应用系统和网络设备，同时可搜寻 资安日志、系统日志、应用程序日志。Splunk能够进一步监控文件系统中设定配置的变更，做变更管理，更可链接各种网络通讯端口(Ports)去接收Syslog、SNMP和来自其他各式各样网络装置的数据。

 

Splunk能够定期排程执行，并依据搜寻结果发出各项警示通知，可以透过email、RSS或SNMP等方式链接其他管理接口，可触发执行自行定义的因应方式，例如重新启动应用程序、系统或网络设备。

Splunk提供强大的报表能力，能够将搜寻结果以各项清晰的图表呈现，更可弹性化地产制出组织和机构管理阶层所想要的报告内容。

 

由各种设备所产生的ITdata是相当枯燥乏味的，透过Splunk可将它转化为切实可用的重要IT信息，并且能为任何人所用，不需要太多艰深的知识即可找出想要的信息。

IT信息其重要性不言可喻，Splunk可整合组织和机构既有的认证系统进行安全管控，确保数据在存取、分析和稽核时不会破坏数据的完整性。认证与用户许可证管理可与 AD, eDirectory和 LDAP 整合；可使用 SSL/TCP 接收发送日志与 HTTPS 加密管理。

 

 

 

Splunk具备良好的扩展能力，支持分布式部署和HA架构部署提供可靠性，并且在分布式部署时可以提供多站点数据和分析的统一视图。

至此，我们应该对Splunk的功能有了比较全面的了解，那在日常运维和数据管理过程中系统/数据中心管理员是怎么使用Splunk呢，以及Splunk最适合的场景是什么呢，接下来我们一起聊一下这个话题。

第一个场景就是日常运维排错，Splunk根据不同主机来源的日志来分析交易耗时情况、交易量、响应码成功比率等。业务维护人员也可以通过简单的交易流水号、卡号、账号等简单条件快速定位匹配的事件进行关联分析，输出实时报表或定位到问题的根源。

第二个场景是安全合规和日志审计，通常日志分散不便管理，环境复杂、设备品牌繁多日志格式很难统一。但是日志合规性要求重要日志文件保存时间比较长，需要根据审计记录进行分析、并生成统计报表，还要保证数据安全，避免非预期的删除和修改，另外还要遵循统一的安全策略进行审计。

为了解决这些问题，Splunk支持日志格式定义、支持多样日志格式、具备查询快、易分析，通过审计记录保护，灵活定制展现层的能力来实现安全合规和日志审计。

 

还有一个重要的场景是应用数据分析和监控，例如大型银行拥有大量的应用系统，如交易系统、网上银行等，通过Splunk可以对交易时延进行监控、以便针对用户的体验做出调整。

温馨提示：

请搜索“ICT_Architect”或“扫一扫”下面二维码关注公众号，获取更多精彩内容。