2020年总结：数据里有你、我、他，关键还是自己

一.前言

2020年年底了，无论是自身还是社会上都发生很多事情，或喜或悲都将过去，总结下自身，展望未来，做更好的自己。

本人负责数据中台数据引擎基础架构设计和中间件开发，专注云计算大数据方向。

二.社区

阅读

由于专注领域关系，平时每天早上会阅读一篇极客时间文章，晚上阅读一些图书，丰富自己知识素养。

极客时间阅读数据

阅读范围：

• 大数据组件
• 架构原理
• 算法
• 编程语言原理
• JVM
• 计算机组成原理
• 微服务
• 离线计算
• 实时计算
• 交互计算
• 数据库原理
• 数据中台
• 系统原理
• 写作技巧
• 思想经典方面

今年阅读了大量的资料，学习到很多，无论运用工作，还是做社区开发，都对自身有帮助，路就在脚下，走就完了。

WeDataSphere社区

从去年就认识到这个微众开源技术中台社区，开源DataSphereStudio，Linkis等等，帮助企业解决数据开发层面的技术问题，学习到很多，也推广到全公司使用，负责符合公司的情况下进行二次开发和融合组件，也总结一些经验反馈给社区，提交一些pr，issues，年末时在社区获奖。

Github

北极星计划参与者

https://github.com/77954309

CSDN

平时积累一些技术方面的思考，总结成文章，大部分都记录在CSDN上，有些放到GitChat，对自我认知有很大的帮助，技术主要在做中学，知道很多不如马上做起来，认真编码，认真思考，认真写作，多去感悟，提高自身。

开源

平时积累开源一些工具

• 数据交换：https://github.com/77954309/exchange-parent
• IDEA 插件开发：https://github.com/77954309/code_plugin
• 消费队列架构：https://github.com/77954309/scheduler
• 经典算法总结：https://github.com/77954309/classical_algorithm
• CDH5.16.2-Flink1.10.1-parcel：https://github.com/77954309/flink-parcel

三.工作

思考

业务发展前期，为了快速实现业务的需求，烟囱式的开发导致企业不同业务线，甚至相同业务线的不同应用之间，数据都是割裂的。两个数据应用的相同指标，展示的结果不一致，导致运营对数据的信任度下降。

数据中台的核心，是避免数据的重复计算，通过数据服务化，提高数据的共享能力，赋能数据应用。

由于公司是做金融toB方向，发展到一定程度，需要数据中台这种方案，去支撑公司的快速迭代，通过一些服务组件，串联公司业务。

建设

由于成本，人力方面考虑，借助WeDataSphere社区力量，构造组件，二次开发组件，整合到DataSphereStudio中，通过数据管理，数据交换，调度，数据质量，数据开发平台，通过可视化界面，从技术层面把组件服务串联起来形成工作流。

业务组件抽象化，把一些业务重新划分成符合平台规范的形式，统一口径，快速迭代，直接提供给业务方使用，相当于让数据开发人员直接提供产出价值，数据资产化，不用向以前通过一些抽象的结果表给业务方使用，被很多人所不理解，耦合性太强，很容易出现问题，现在通过平台让数据人员向前迈了一步，更贴近业务了。

四.展望

马上到明年了，继续深耕于数据架构，现在技术边界很低，多研究底层基础，多见识大牛思想，多锻炼，写更好的代码，继续努力。