oarcle 一直运行成功的存储过程突然不生效了_中国移动集中化Hadoop云平台三期二阶段工程项目成功上线...

2020年9月,中国移动的Hadoop云平台三期二阶段工程成功上线,替代Teradata,处理B/M域数据。项目解决了包括HBase拉链处理、数据开发调度监控等技术难题,大幅提升了数据处理效率和平台性能。未来将继续推进国产化和数仓优化。
摘要由CSDN通过智能技术生成

97b2bad6cde25541bdf68e27684d2f84.gif

      2020年9月9日,中国移动集中化Hadoop云平台三期二阶段工程项目成功上线。该项目由中移信息技术有限公司实施,依托Hadoop平台框架,承载集中化经分B/M域数据采集、加工及分析,支撑中国移动集中化经分省经及一级业务大数据分析应用,助力基于规模的“融合、融通、融智”价值经营体系的落地实施。

 一、基于Hadoop架构支撑B/M域数据生产经营分析的系统

572a39f22d7f100b048a6cab4a1e5e89.gif

       一直以来,受限于B/M域生产经营分析数据并发高、体量小、计算逻辑复杂等特点,中国移动网内基本依赖Vertica、Teradata、GBase等高性能数据库产品支撑。基于MPP架构的数据库产品从存储层面看,比基于Hadoop架构产品价格昂贵,扩展性不高。随着国产化大数据平台和数据库的应用推广,中国移动也在努力探索实践国产化之路。中国移动集中化Hadoop云平台三期二阶段工程项目在此背景下产生,使用国产化Hadoop平台替换Teradata数据库,承载B/M域生产经营分析。系统上线后承载全部接口数据采集,全部中间层数据加工及部分应用加工,每日加载入库数据30TB,调度执行Yarn任务90000+。目前已推动Teradata主库存储缩容40%,IO负载降至25%,主库下线接口占比33%,下线应用占比50%。

二、多项技术难题攻关

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值