大数据平台技术架构
仰望星空的我
仰望星空,脚踏实地。
展开
-
携程实时计算平台架构与实践丨DataPipeline
本文主要从携程大数据平台概况、架构设计及实现、在实现当中踩坑及填坑的过程、实时计算领域详细的应用场景,以及未来规划五个方面阐述携程实时计算平台架构与实践,希望对需要构建实时数据平台的公司和同学有所借鉴。 一、携程大数据平台之总体架构 携程大数据平台结构分为三层:应用层:开发平台Zeus(分为调度系统、Datax数据传输系统、主数据系统、数据质量系统)、查询平台(Art...转载 2018-12-26 15:40:14 · 556 阅读 · 0 评论 -
DataPipeline在大数据平台的数据流实践
进入大数据时代,实时作业有着越来越重要的地位。本文将从以下几个部分进行讲解DataPipeline在大数据平台的实时数据流实践。 一、企业级数据面临的主要问题和挑战 1.数据量不断攀升随着互联网+的蓬勃发展和用户规模的急剧扩张,企业数据量也在飞速增长,数据的量以GB为单位,逐渐的开始以TB/GB/PB/EB,甚至ZB/YB等。同时大数据也在不断深入到金融、零售、制造等行业,...转载 2018-12-26 15:43:47 · 1551 阅读 · 0 评论