2020年9月9日,中国移动集中化Hadoop云平台三期二阶段工程项目成功上线。该项目由中移信息技术有限公司实施,依托Hadoop平台框架,承载集中化经分B/M域数据采集、加工及分析,支撑中国移动集中化经分省经及一级业务大数据分析应用,助力基于规模的“融合、融通、融智”价值经营体系的落地实施。
一、基于Hadoop架构支撑B/M域数据生产经营分析的系统
一直以来,受限于B/M域生产经营分析数据并发高、体量小、计算逻辑复杂等特点,中国移动网内基本依赖Vertica、Teradata、GBase等高性能数据库产品支撑。基于MPP架构的数据库产品从存储层面看,比基于Hadoop架构产品价格昂贵,扩展性不高。随着国产化大数据平台和数据库的应用推广,中国移动也在努力探索实践国产化之路。中国移动集中化Hadoop云平台三期二阶段工程项目在此背景下产生,使用国产化Hadoop平台替换Teradata数据库,承载B/M域生产经营分析。系统上线后承载全部接口数据采集,全部中间层数据加工及部分应用加工,每日加载入库数据30TB,调度执行Yarn任务90000+。目前已推动Teradata主库存储缩容40%,IO负载降至25%,主库下线接口占比33%,下线应用占比50%。
二、多项技术难题攻关