随着互联网+时代的迈进,由网页和移动终端产生的海量数据对企业大数据获取和分析能力带来的全新的挑战。调研显示,78%的企业用户在互联网+转型的过程中,将积极的制定大数据策略,寻求数据经济带来的价值。
自今年中旬曙光“数据中国”战略推出,就已将大数据作为未来的核心实现服务转型,曙光在2011年成立了Hadoop研发团队,目前已经发行到第三版,从2013年开始,紧跟社区的最新技术,每年都会更新一个版本。通过数据中国战略,曙光正由传统的“硬件设备生产商”向“数据服务商”积极转型,形成以“云计算+大数据”的整体服务体系。
在“数据中国”初级阶段,以硬件起家的曙光,其大数据战略主要偏向于数据存储和数据处理方面。XData大数据一体机正是曙光大数据能力的一个代表。
曙光大数据总经理宋怀明博士
曙光大数据总经理宋怀明博士对51CTO记者表示, XData是曙光打造的大数据品牌,并非是单个产品,而是面向不同行业不同应用的数据处理需求研发的一系列产品,基于曙光Hadoop发行版的大数据一体机是XData SDH;并行数据库一体机是XData-MPP,以及面向教学实验系统EDU等,依托于XData品牌打造曙光大数据系列产品。
XData-SDH融合了曙光运维服务管理软件,提供对Hadoop生态系统的预装和配置管理以及监控功能,通过分布式大数据平台处理多样化海量数据,降低部署和管理成本的同时,降低数据风险。而XData-MPP并行数据库一体机面向海量数据查询分析应用,实现高速数据存储查询服务,适用于数据密集型行业应用,降低人员和技术成本,实现高可用性、高可靠性、高性能、简单易用、灵活迅捷的数据体验。
并行数据库一体机的核心是并行数据库中间件,在整合底层资源的基础上,多个独立的数据库,通过中间处理成大的数据库映像。因此对数据库的品牌没有限制,如对国产化要求较明确的用户,可根据其需求选择国产或者开源数据库;如原有生产系统采用甲骨文,不想改变数据结构,也可以选择商业公司的数据库。XData-MPP并行数据库一体机与商业数据库都有较深入的合作。
不同于曙光服务器产品线按需定制,每台服务器的配置不尽相同的情况,一体机的受众用户对部署周期有比较高的要求。因此大数据一体机系列产品细分了多种标准化的配置,如半配、单机柜满配、多个机柜集联等形式,安装、部署、调试、上线以小时级就可以完成配置。
除了XData以外,围绕着数据存储硬件,曙光具备高中低各种型号的磁盘阵列,以及独立的大数据分布式存储软、集群NAS软件。存储软件作为大数据分布存储解决方案的组件,是大数据存储和处理的核心技术。
在应用领域,曙光针对广电行业实现深度整合传统广电收视行为分析和新兴互联网用户画像技术,打造光电行业大数据分析系统,根据收视数据、用户属性、广告点击、运维数据等信息实时统计报表,辅助广电行业优化业务。
曙光大数据研发中心经理郭庆先生(左)和曙光大数据总经理宋怀明博士(右)接受51CTO记者采访
据曙光大数据研发中心经理郭庆先生介绍,此前发布的在线运维平台EasyOP为用户提供在线的体统数据实时分析,与此次分享的广电行业大数据分析系统,在底层技术方面是公用的。EasyOP对服务器的内存、操作系统日志等基础数据在广电行业大数据平台解决方案中直接复用,对整个运维环境进行监控。广电行业大数据分析系统在此基础上更进一步,除对基础运维数据进行管理和分析外,同时采集机顶盒的收视行为数据,对应用数据进行分析和画像。两个团队间也有较为密切的沟通和共同研发。
在大数据转型的过程中,曙光在去年提出超融合架构的理念,未来将大数据和曙光在超算领域的优势从架构上进行融合。随着用户应用与底层架构的结合越来越紧密,如何通过一个系统支撑多种应用,将对曙光软件模块研发提出更高的要求,我们也期待着曙光IT“国家队”在大数据转型的下一路口,早日实现数据中国梦。
本文作者:路途
来源:51CTO