工作思考 2022.10.09

真实业务场景、海量真实数据，正适合磨练系统技术能力。有用的技术才是好的技术，掌握了有用技术的人，才是真正的人才。

从读研究生算起，我在天玑团队已经10年，先后参与了多个行业的项目，除了2016年的魔镜，没有几个系统是真正发挥作用的。但有的行业（事业部）就不一样，几乎做的每一个系统都是生产系统、业务系统，而且是直接应用在网络空间的战场，为国家网络空间治理贡献力量。

我在一个重点项目现场了解到，目前每天接入各类网络数据多达25亿条，设计的表结构和消息队列达到几百个，检索用的ElasticSearch集群规模有上百台服务器，还有几百台CPU、GPU服务器运行着各种算法、大数据处理框架、数据库等服务。

在如此大规模的数据上，哪怕一个小需求都是一个很大的挑战。例如，在很多业务系统推送过来的数据中，包含了基础数据包和更新数据包，更新数据包可能先于基础数据包到达但由于集群存储压力巨大因此目前设计为全部丢弃，这样事实上导致数据陈旧。

另一个问题是希望对不同业务系统（相互独立的业务系统）的账号进行用户对齐，比如用注册手机号码，但由于平台账号过于庞大，目前使用的数据库使用SQL Join基本上就不可行，何况需要做的系统系统有几十上百家。

此外，我们还可以基于这个数据进行知识图谱构建、算法模型训练、知识融合、信息推荐、联邦检索、智能问答等等。

所以，在这样的真实业务场景和数据中，有很多工作可以去研究和探索。