成为数据架构的必经之路

成为数据架构的必经之路

一、为什么要成为架构师？

我们先来聊一下为什么想要成为架构师哈，我总结两个方面的动机：
一呢，是为了职业段位的上升，大家都听过程序员35岁危机吧？到了35岁，你还没走到管理岗或者专家岗的话，那这条路就很难走了。所以呀，像我们走技术路线的，应该尽早跳出初级程序员的圈子，晋级到架构师的段位。
二呢，是为了薪资待遇的提高，大家都知道哈，同一家公司薪资待遇和那肯定段位是相关的，Java开发、Java架构师的薪资待遇肯定是不一样的吧，普通开发可能一个月就一两万吧，架构师起码三四万、四五万，而且有的还有期权、有股票，等公司上市，直接实现财富自由，这可不是我吹牛，这都是我身边活生生的例子，我leader去年股票解禁，直接套现了一千多万，财富自由！所以呢，为了money咱也要向上走。

咱们争取，沿着这条路线越走越高：
初级开发（1-2）：掌握工作中各种组件的安装、使用，可以参与日常的开发工作
高级开发（2-3）：掌握组件的运行原理、常见问题，可以独立完成复杂开发任务
资深开发（3-5）：深入了解源码，能解决各种疑难杂症，可以指导、管理其他开发工作
架构师（5-10）：熟悉业务逻辑、设计整个系统的架构，需要参与需求调研、技术选型、落地开发、进度管理、监控优化等系列工作
技术总监、CTO、合伙人 …

二、什么是架构师？

知道了为什么要成为架构师，现在我想问大家个问题，到底什么是架构师啊，天天架构师这个词挂在耳边，到底什么是架构？

我们看看百度给出的定义哈

架构师，又称为系统架构师（System Architect）

系统架构师是一个最终确认和评估系统需求，给出开发规范，搭建系统实现的核心构架，并澄清技术细节、扫清主要难点的技术人员。

主要着眼于系统的“技术实现”。
因此他/她应该是特定的开发平台、语言、工具的大师，对常见应用场景能给出最恰当的解决方案，同时要对所属的开发团队有足够的了解，能够评估自己的团队实现特定的功能需求需要的代价。

系统架构师负责设计系统整体架构，从需求到设计的每个细节都要考虑到，把握整个项目，使设计的项目尽量效率高，开发容易，维护方便，升级简单等。

关键词：需求、技术、团队[管理]

三、成为哪方面的架构师？

知道了什么是架构师还不够，我们还要知道我们要成为哪方面的架构师。

架构师这个概念还是比较广泛哈，在复杂的互联网技术背景下，两个人虽然同样是架构师，但可能是两个完全不同的职位哈，下面我就简单对架构师的分类进行一个了解：
这里我们参考 微软”的架构师分类：

• 企业架构师EA(Enterprise Architect)
• 基础结构架构师IA(Infrastructure Architect)
• 特定技术架构师TSA(Technology-Specific Architect)
• 解决方案架构师SA (Solution Architect)

企业架构师EA：现在更多称之为首席架构师，听着就很牛逼是不是，确实很牛逼，比如像：
阿里云的创始人王坚院士——曾担任阿里巴巴的首席架构师
现任阿里巴巴CTO吴泽明——曾担任淘宝首席架构师
首席架构师，负责将企业战略分解成业务、数据、应用、技术、安全5大架构体系，指明企业信息化方向。可以看到，首席架构师关注的是战略、方向！

基础结构架构师IA：的工作就是提炼和优化技术，积累和沉淀形成的基础性的、公共的、可复用的框架和组件，这些都是一个技术型公司最宝贵的财富之一，也是对架构师的最传统理解。

特定技术架构TSA：他们主要从事类似安全架构、存储架构、或新技术等专项技术的架构工作。

解决方案架构师SA：的工作则专于解决方案的规划和设计，一般用于售前架构人员与客户沟通。

简单分类
实际工作中，我们经常的是另一种比较简单粗暴的分类方式，就是把架构师分为软件架构师和系统架构师。

软件架构师：软件架构师基本上是TSA+IA，这也是程序员最容易突破，最可能走上的一条道路，比如JAVA架构师、.Net架构师、前端架构师、微服务架构、大数据架构师等等，我后面所讲的内容都是和大数据架构师的相关的话题。

系统架构师：SA+TSA，更着力于综合运用已有的产品和技术，来实现客户期望的需求。系统架构师要求通晓软、硬件两方面的知识，所以它的知识体系相对庞杂。

四、如何成为大数据架构师？

1.市场需求

我们先看一下招聘网站BOSS某聘上面的要求

总结：薪资高、要求高！

2.技术要求

精通一门语言（Java），熟悉多种语言（scala、python、shell等）：
简历上可别写“精通”二字啊，你要知道这两个字的分量。你“精通”写“熟练掌握”就行；
精通一数据库（MySQL），熟悉多种数据库（Oracle、MongoDB、Redis等），这个没有什么好说的，程序员都需要好好掌握；
精通
精通几个大数据组件（Hadoop/Spark/Flink）要有源码级的理解，熟悉常用大数据组件（hive、kafka、flume、hbase、es、presto/trino、clickhouse、doris、datax、canal、azkaban、dolphinScheduler、等等），关注了解大数据前沿技术组件（SeaTunnel、InLong、Kyuubi、Linkis等）

必须要精通几项技术，这样才可以举一反三，可以更快速的掌握其他技术原理。同时也可以拉近和其他开发人员的距离，并在团队中具有影响力。

3.软实力

沟通能力：这个也是需要思考和练习的
正式沟通、非正式沟通、上下级沟通…
自学能力：这样需要养成，强迫自己学习，找到适合自己的方法
管理能力：这个可以慢慢学习、练习，先把自己作为一个团队，管理起来
社交能力：不同部门、行业大佬

4.项目经验

数据平台搭建、数仓建设、BI系统、标签系统、用户画像、推荐系统等等

本文是基于个人经验总结的，仅供参考。读者可以据此进行自我思考和探索，但请勿过度评价或批判。

参考链接
架构师如何分类？-从ISO国标到技术实现的架构师分类_自来也豪言物语的博客-CSDN博客_架构师分类
什么是架构师？_腾讯新闻
本文引用了部分资料，已注明出处；所有素材均来自版权免费的素材库。如有侵权，请及时联系作者进行修改。