FusionInsight,让数据“慧”说话

文/范昭赋 华为弹性计算云Marketing部主任工程师

大数据时代来了

有人说现在是个信息大爆炸的时代,其实用“爆炸”来形容当今信息时代的特征是不确切的,“爆炸”不仅意味着多(多的容器装不下了),还意味着无法控制和毁灭。我们当然不能让信息“爆炸”,而要为我们所用,化危机为财富。

信息的载体是数据,新摩尔定律表明,每18个月所产生的数据相当于有史以来产生的数据的总和,也就是说每一年半,数据就翻番。移动互联网、物联网等成为海量数据的催化剂,传统的数据处理技术已渐渐对海量数据无能为力,如果不想让海量暴增的数据失控,我们就需要对其进行“治理”,治理包括管理、开发、利用,要从大数据中挖掘出有价值的东西,为人类创造更多的智慧,这就是所谓的“大数据技术”,其核心就是要让大数据“慧”说话(说出有智慧的话)。

大数据技术是一个笼统的概念,它包括了海量数据的分布式存储技术、面向海量数据查询和分析的并行计算技术、各种海量数据的挖掘算法、行业海量数据建模、各种使得大数据价值变现的应用,以及承载海量数据的硬件基础设施等。大数据技术构成了一个完整的信息生态链,将各行各业更紧密地联系起来,“开放”、“融合”、“创新”成为大数据时代出现频率最高的词汇。

如今,大数据技术已经在各行各业开始应用,特别是大型互联网公司、运营商以及政府和金融等行业。相信5~10年内大数据技术的应用会全面铺开,充斥到社会的每一个角落,并且成为未来IT的基础架构。因此,确切地说,我们这个时代不是信息“爆炸”的时代,而是一个“大数据时代”!

运营商要向IT和互联网转型,金融机构、政府组织也要向IT和互联网转型,全球最大的通信设备提供商——华为公司也在向IT和互联网转型。实际上,将来的每一个企业首先都是一个互联网企业。用马云的话说,企业在大数据时代和技术变革之前,必须要掌握对于未来的研判,重塑自己的文化基因和组织架构,必须“有所为有所不为”,去做一个社会化的企业。我的解读就是企业要找准自己在大数据生态链上的位置,大数据技术必将把全社会各行业组织成一个有机的整体,任何企业都不能独立于这个肌体之外。

FusionInsight:完全开放的大数据平台

在大数据领域,华为公司当然不会袖手旁观。为社会创造价值、丰富人们的沟通和生活、成就客户是华为人的使命。从2009年开始,华为在大数据领域投入了大量的资金和人力进行研发,2011年,华为大数据解决方案横空出世,最初命名为Galax HD,2013年改名为FusionInsight Hadoop。到目前为止,FusionInsight已在全球拓展了100多个大数据项目,有40多个项目已经在交付,其中10多个已经在商用。客户主要分布在电信、金融、科研、公安和政府等行业。

FusionInsight是企业级大数据存储、查询、分析的统一平台,为企业快速构建海量数据信息处理系统,通过对各类海量数据信息实时和非实时的分析和挖掘,帮助企业从海量数据信息中获取到真正的价值,及时洞察和决策新的机会与风险。

FusionInsight是完全开放的大数据平台,可运行在任意标准的x86服务器上,无需任何专用的硬件或存储,并针对金融、运营商等数据密集型行业的运行维护、应用开发等需求打造了高可靠、高安全、易使用的运行维护系统和全量数据建模中间件,让企业可以更快、更准、更稳地从各类繁杂无序的海量数据中发现价值。

Google虽然是大数据技术的鼻祖,但Apache Hadoop开源社区却是最有影响力的开源大数据技术的孵化器,大数据要走向开放、融合,开源是必然的趋势。华为将大数据明确为ICT融合时代公司的战略方向并加大投入,在美国以及中国香港、深圳、北京、西安汇集了各路大数据专家,持续回馈并引领Apache Hadoop开源社区,对Apache Hadoop社区的贡献在所有IT设备商中排名第一,持续推动社区的开放与发展。

华为FusionInsight团队具备强大的本地化工程服务能力,不仅可以帮助客户定位大数据内核级问题,还针对行业应用开发了数据服务和能力开放使能环境,兼容客户原有开发和使用环境,让大数据更易使用并产生价值。FusionInsightHadoop发行版紧随开源社区的最新技术,快速集成最新组件,并在可靠性、安全性、管理性方面进行了企业级的增强和持续改进,始终保持技术领先。而且FusionInsight Hadoop保持了100%的开放性,决不使用私有架构和组件。

FusionInsight Hadoop的企业级增强

FusionInsight Hadoop的企业级增强主要表现在以下几个方面:

● 高可靠性

FusionInsight Hadoop所有管理节点组件均实现HA;HBase集群实现1000公里以上的异地灾备;表级集群备份、全量、增量、日志追赶、数据恢复(对本地存储的业务数据进行完整性校验,在发现数据遭破坏或丢失时进行自恢复)。

● 高安全性

FusionInsight Hadoop实现了基于用户和角色的统一认证体系,实现对角色进行权限管理和审计,WEBUI服务还支持单点登录认证。对HBase的权限控制支持HBase库、表、列族和列等不同级别。Hive还支持合法用户之间的数据安全隔离,保障用户数据安全;支持合法用户之间的授权访问,允许用户数据交叉访问。

FusionInsight还可以对文件系统进行加密,Hive、HBase可以对表、字段加密,集群内部用户信息禁止明文存储。加密算法插件化,可进行扩充,亦可自行开发,并且加解密过程业务完全不感知。

高安全性还体现在对操作系统的安全加固,通过裁剪不必要组件,工具自动测试扫描,在业务节点、管理节点和用户管理Portal等组件采取业界标准来实现操作系统加固,保证基础设施的安全性。

● 高性能

针对数据密集型行业传统数据库、数据仓库的大量关联表设计,创新地实现了CTBase方案。CTBase可以将多个具有类似功能或存在关联的业务表聚簇到一个HBase大表中,可提升一些关键场景的多表关联查询性能。另外,CTBase还提供了二级索引,RowKey Schema的维护管理等关键能力。同时,CTBase对HBase原生态API进行了封装,提供更友好的二次开发界面。

FusionInsight Manager(FusionInsight运行维护中心)支持系统双机和分布式并行处理,可10分钟完成集群安装;全自动化在线运行维护、自定义Dashboard、自动化的应用开发助手,让企业可以轻松地管理大数据系统;提供向导式升级、回退的界面操作,当升级过程异常时,支持自动安全回退,也支持观察期手工触发安全回退,可以在6分钟内完成Hadoop集群升级。

FusionInsight Hadoop还提供了北向接口,实现与企业现有网管系统集成;当前支持syslog接口,接口消息可通过配置适配现有系统;整个Hadoop集群采用统一的集中管理,未来北向接口可根据需求灵活扩展。

● 解决方案配套能力

为让开发者更方便地使用大数据技术,在开源Hadoop平台基础上,华为FusionInsight Hadoop围绕数据的采集、分析和消费,在典型场景如数据中心运维日志分析、历史数据查询、实时事件处理、客户特征画像等形成了系列解决方案,并跟随客户业务的发展不断丰富。


FusionInsight总体架构图

绽放智慧的光彩

华为FusionInsight大数据平台可以为电信、金融、政府等行业大型企事业单位量身定制企业级的大数据解决方案,本着让数据“慧”说话的目标,对企业数据全量建模、深度分析、深刻洞察,为企业的精准营销、实时决策、客户维系、数据开放等各种应用场景提供全面的技术保障。

用任正非总裁的话讲,大数据时代也是大机会时代,但是华为不可以机会主义,华为人总是本着求实创新的精神,不惜10年磨一剑。经过华为人的努力,FusionInsight必将成为大数据领域的一颗耀眼明珠,在茫茫的数据海洋中,绽放属于它的智慧的光彩。

(更多华为资讯请关注华为开发者社区,华为自己的对外开放门户:http://developer.huawei.com/cn/ict/ ,不要问我叫啥,别人都叫我雷锋



  • 1
    点赞
  • 0
    收藏
  • 打赏
    打赏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页
评论 3

打赏作者

Mind_Hacks

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值