大数据架构（一）背景和概念

-系列目录-

大数据架构(一)背景和概念

大数据架构(二)大数据发展史

一、背景

1.岗位现状

大数据在一线互联网已经爆发了好多年，2015年-2020年(国内互联网爆发期)那时候的大数据开发，刚毕业能写Hive SQL配置个离线任务、整个帆软报表都20K+起步。如果做到架构师，50K跑不掉。现在市场回归理性后：

• 普通岗：大数据/数仓开发，实际上除超一线城市之外，尚存很多大型企业转型期信息化、互联网(物联网IOT)还在发展，数据还在爆发式增长，仍大有可为。
• 精英岗/管理岗：大数据总监/架构师，在重视数据的企业(一线互联网大厂、数据服务厂商)，年包上百万也不少。

2.行业现状

数据架构在过去20年发展迅速，尤其是过去十年，几乎每年都有新概念、新产品开源出来。一些新名词爆发式展现出来：数据仓库、数据集市、大数据、离线数仓、实时数仓、时空数据库、数据中台、数据湖、流批一体、湖仓一体、实时湖仓、商业智能(BI)等等。

• 数据精细化：从经营与分析转为数据化的精细运营，对数据要求过程化、粒度更细。
• 产品多样性：传统 BI 中的 Report、OLAP 等工具开始转向面向最终用户自助式、半自助的产品，来快速获取数据并分析得到结果。
• 数据时效性：从 T+1 转为近乎实时的数据诉求。
• 平台轻薄化：阿里自砍中台战略，把中台拆分到各条业务线部门独自负责。把中台变得轻薄，更贴近业务。数据只有贴近业务才能焕发活力。底层逻辑是某业务领域的中心化是推荐的，有价值的。

3.本文目标

本系列文章不做源码级分析大数据框架，而是关注大数据的发展历史、主流架构和原理、落地流程。可作为架构师对于大数据架构的扫盲贴。(笔者花了2月的时间阅读大量文章总结出来的，可能会有问题，欢迎留言交流。)</