hadoop 集群监测_基于Hadoop的高性能集群状态监测分析

基于

Hadoop

的高性能集群状态监测分析

刘树仁

;

冯超敏

;

文玲

;

蔡长宁

;

赵书贵

【期刊名称】

《计算机工程与设计》

【年

(

卷

),

期】

2014(035)011

【摘要】

油气勘探对高性能集群的稳定性提出了更高的要求

,

为解决其与传统管

理技术间的矛盾

,

设计并实现基于

Ha-doop

技术的集群状态数据存储与分析平

台

.

该方案包括状态数据收集、

HBase

存储与通过

MapReduce

实现的

k-

means

聚类算法

.

通过对

HBase

的压力测试以及

k-means

算法的聚类效果分

析验证了该方案的实用性

,

其适用于高性能集群的主动方式故障管理

.

【总页数】

5

页

(4049-4053)

【关键词】

Hadoop;HBase;MapReduce;k-means;

集群

;

状态监测

【作者】

刘树仁

;

冯超敏

;

文玲

;

蔡长宁

;

赵书贵

【作者单位】

中国石油勘探开发研究院西北分院计算机技术研究所

,

甘肃兰州

730020;

中

国

石油

勘探

开

发

研

究

院

西

北

分院

计

算

机

技

术

研

究

所

,

甘

肃

兰

州

730020;

中

国

石油

勘探

开

发

研

究

院

西

北

分院

计

算

机

技

术

研

究

所

,

甘

肃

兰

州

730020;

中

国

石油

勘探

开

发

研

究

院

西

北

分院

计

算

机

技

术

研

究

所

,

甘

肃

兰

州

730020;

中

国

石油

勘探

开

发

研

究

院

西

北

分院

计

算

机

技

术

研

究

所

,

甘

肃

兰

州

730020

【正文语种】

中文

【中图分类】

TP391

【相关文献】

1.

基于

Hadoop

的智能电网状态监测数据存储研究

[J],

刘树仁

;

宋亚奇

;

朱永