数据架构——2024你有什么规划？

1. 二哥的心灵鸡汤

  写这篇文章的起因是二哥突然微信问我2024有什么规划，我脱口而出就来了一句“躺平”，没想到二哥直接给我递了碗鸡汤，还不带勺子的那种，虽然没喝到，但是还是被二哥的鸡汤醍醐灌顶的被淋成了落汤鸡，于是有感而发决定奋笔疾书，并跟二哥说完成后一定第一个分享给二哥。

图1.1 二哥的心灵鸡汤

  普及下二哥的背景，二哥也是一位资深的大数据技术大牛，初为人父（年前嫂子一起迎来了他们的小皇子），而立之年确还满头秀发的小青年，剖析下二哥的规划草稿，认真而美丽地把规划分层了能力提升，工作，生活，拓展四大方面。

  抛开生活而言（毕竟而立之年的程序员，不论是否聪明绝顶，生活多少有些一地鸡毛，就不过多讨论了……），其他三项其实更多的是谈自己在大数据方向的规划和步伐，那怎么样才能向二哥一样，在数据领域不迷茫且不断深耕进步，最终走向一代大牛呢？Rowyet也想趁着新年的机会，谈谈自己的数据架构学习规划的一点点想法。

2. 什么数据架构值得学习

  在谈学习规划前，先确定什么数据架构值得学习，Rowyet觉得是分四步走。

2.1 游走于商业，产品，项目和技术之间（认识自我）

  如果想去降维打击的做一件事，那么就得对自己升维，跳出自己的圈子，更高层次地去看事情的本质，从而更好的认识自己的价值。以技术团队为例，如果长期陷在技术团队，自然就容易长成“技术天下第一”的”技术吹“，甚至走火入魔。

  每个公司的组织架构和团队分工可能各不相同，此知识Rowyet还尚且年幼，自知讲不好，但作为数据技术人员，至少还是要了解下自己所处环境的商业需求，自己服务的产品，自己所在的项目，自己使用的技术，以下为Rowyet个人浅薄的认知，更细节的专业知识可以看相关板块的书籍。

• 商业：企业迎合市场需求的生意之道，给你发工资真正来源；
• 产品：主要负责人是产品经理，做正确的事，领导的产品是否符合市场需求，是否持续不断给公司带来利润；
• 项目：主要负责人是项目经理，做完美的事，在时间，成本和资源约束的情况下最完美的完成交付及目标；
• 技术：针对项目中的目标，集齐你所学的硬件，软件等跨学科知识，在条条大路通罗马的背景下，实现一条最敏捷，最稳定，最优的途径和手段去罗马;
• 容易被遗忘却最坚强的后盾：容易被你遗忘而却默默奉献着老板，公司高层，直系领导，法务，财务，行政等，在自己尽力顶还是顶不住的情况下，记得找专业的大佬四两拨千斤。
• 其他

  • 开发方式之敏捷开发 VS 瀑布式开发：瀑布式开发选手更像一位狙击手，子弹很贵，讲究枪枪命中目标，容错率低；敏捷开发选手更像一位机枪手，子弹较为便宜，打偏了可以快速校准打击目标，因此新时代的开发较为崇尚与敏捷开发；

  • KPI VS OKR：对于KPI Or OKR目前最好的理解为玩飞盘的游戏；KPI是领导扔盘子，身为狗子的我们去接就行；OKR是身为狗子的我们自己扔盘子，自己接，领导不参与；新时代也倾向于OKR，从而更好的实现去中心化决策。

  • 为人处世：认真做事，广交朋友，随遇而安；

  • ……

  而技术架构的目标自然是了解一些商业及业务，懂一些产品，会一点项目，再深耕自己的解决方案和技术架构……

图2.1 我的团队

2.2 百花齐放的大数据架构（认识当下）

  随着大数据技术的发展，当下的大数据技术，架构，组件越发乱花渐欲迷人眼，热闹非凡。

• 技术：私有云 VS 公有云
• 架构：Hadoop家族，ELK家族，CK家族，Doris家族……
• 组件：大体上可以分为存储（文件系统，数据库等），计算引擎（实时，离线批处理……），调度器……

2.3 什么才是好的技术架构（认识完美架构）

  本来想从几个维度去聊这一块，但是肯定枯燥无味，陈词滥调，所以这里打算讲两个小故事，然后什么是好架构大家自行再定夺。

• 第一个故事摘抄至《万历十五年》，明朝嘉靖、隆庆年间的两大军事将领戚继光和俞大猷，二者皆为千百世之才。

戚继光的军队以藤牌、毛竹、铁叉作为标准武器，表现了部队仍然没有脱离农民气息。但如果认为他不了解火器的功效，那是不符合实际的。他在实战中运用过火器，和将领讲解火器的利弊，并在奏折中提到了火器的重要性。然则终戚继光的一生，他仍然以上述的鸳鸯阵法作为主要的战术。这倒不是由于他因循守旧，而是牵涉到很多不易解决的复杂因素；
让战术全面现代化的建议，曾经被名将俞大猷提出过。他准确地指出，倭寇的特长是娴习陆战，水战的技术反而低劣。俞大猷主张，以有效的战船和火炮歼灭倭寇于海上，根本不让他们有登陆的机会。在战术原则上，在他所著的书里也明白指出：“海上之战无他术，大船胜小船，大铳胜小铳，多船胜寡船，多铳胜寡铳而已。”他给总督的禀帖中，曾经请求把陆军军费的一半用来配备水师。但纵使俞大猷的声望和战绩都十分卓著，这些有益的建议却始终没有被采纳，因而壮志未酬，赍恨以殁。
然则俞大猷本人也不可能理解，他的建议，所牵涉的问题和将要引起的后果已经超出军备问题而及于政治。他要求亲自率领“闽广大船数百艘，兵数万”，如果一旦成为事实，有关各省的财政就要从原来小单位之间的收支而被集中管理。与之相应，这些后勤机构的人员必须增加，而且必须一扫苟且拖沓的办事作风，保证规格和数字的准确，才能取得预期的行政效率以与现代化的军事技术相配合。而且和他们往来的各个机构，也必须同样地注重实际。然而我们这个庞大的帝国，在本质上无非是数不清的农村合并成的一个集合体，礼仪和道德代替了法律，对于违法的行为作掩饰则被认为忠厚识大体。各个机构之间的联系，从来也没有可资遵守的成文条例。俞大猷当然更不可能预见到，在未来的好几个世纪之内，上面这些情况在我们这个以农业经济为基础的国家里竟不能发生根本的改变。现代化的技术和古老的社会组织断然不能相容，要不是新的技术推动社会组织趋于精确和严密，那就是松散的社会组织扼杀新的技术，二者必居其一。
这种为个人力量所不可抗拒的社会因素，使俞大猷的计划毫无实现的希望。相形之下，戚继光的方案就比较现实。他没有去触动整个的国家体制，而只是脚踏实地，做他职责范围内力所能及的事。

• 第二个故事摘至《人人都是产品经理》，两个香皂公司的趣事。

话说某跨国日化公司，肥皂生产线上面存在包装时可能漏包肥皂的问题。
于是该公司总裁命令组成了以博士牵头的专家组对这个问题进行攻关。该研发团队使用了世界上最高精尖的技术（如红外探测、激光照射等），在花费了大量美金和半年的时间后终于完成了肥皂盒检测系统，探测到空的肥皂盒以后，机械手会将空盒推出去。这一办法将肥皂盒空填率有效降低至5%以内，问题基本解决。
再说某乡镇肥皂企业也遇到类似问题，老板命令初中毕业的流水线工头想办法解决之，经过半天的思考，该工头拿了一台电扇到生产线的末端对着传送带猛吹，那些没有装填肥皂的肥皂盒由于重量轻就都被风吹下去了。

2.4 什么数据架构值得学习（抉择）

  Rowyet也曾迷茫过，随大流说这个技术好，那个架构牛，也曾参与各大技术研讨会恭听各级大佬的完美架构；后面直接导致网站收藏了一大堆视频/资料吃灰，书本堆积卖了可以换一顿烧烤……
  其实，每个架构都是该领域的一群专家几年甚至几十年的呕心沥血，以个人的有限光阴挑战无限书山，结局自然完败，那怎么去挑选适合自己的架构和技术呢？

• 工作饭碗侧：结合自己所在行业的特性和服务的对象，从数据交互侧反向推衍，比如你的数据应用是2C的，那么你会集中在一些用户画像，千人千面的推荐/搜索，各大维度的用户人群数据报告等；比如一份实时的城市人群数据报告，老板还需要支持手机观看，那自然在架构选择上就需要：
  • 报表工具自适应手机，支持数据实时刷新
  • 支持报表工具的数据库或文件系统或数据湖
  • 数据计算引擎支持实时
  • 数据源的集成抽取、消费等支持实时
  • ……

大忌举例：
选了一个很牛的大家都赞扬的计算引擎支持实时，但是该引擎处理的数据不支持吐到你现有或者将要选择的报表工具的数据库，或者要兼容成本比较高。

• 个人提升侧：知道各类组件分类的核心区别，某一类选一个深耕，从视频介绍认知->官网解读->正常使用->加入社区（一起讨论，疑问，Bug等跟进）->源码解读甚至贡献，这个领域的其他组件，熟悉使用即可。

3. 再谈2024的自己的数据学习规划

  本来事以密成，这一节Rowyet不太想写，但感觉如果少了这一章节，总归会使整篇闭门造车，空洞无比，于是决定择中一下，规划一下2024的OKR的O吧。

• 饭碗

  • 结合自己的领域更加系统的学习产品/项目/技术解决方案/敏捷开发，并运用到具体的项目开发中，每个领域看最少3本优秀的作品，总结归纳，把书读薄
  • 技术侧深耕个性化推荐，搜索优化等，同时学习且深耕AI大模型，并结合业务尝试落地
  • 进阶英语，不再被教父”吐槽“
  • 再忙再累回归博客，所见所得写成博客

• 提升

  • 选至少两个领域从小白到爬进门槛
    • 汽车和电车的原理
    • 企业或公司的模式解读
    • ……
  • 为人、处事、心态的修炼及提升

• 音乐

  • 熟悉笛子的花里胡哨操作，灵活应用”花舌“，”历音“，”气震音“等高阶操作；
  • 乐理从小白进阶到入门
  • 争取能去景区吹一首

• 见闻

  • 去看看徐霞客笔下的江苏和浙江的名川大山

• 运动

  • 进阶撸铁的胸，背，肩，腿，手臂等操作；
  • 进阶跑步，从阿迪跨到耐克的跑鞋试试
  • 学会更多的游泳技巧

• 生意

  • 卖好我的次日达脐橙

……