全图化在线系统设计

WanderingScorpion

已于 2023-10-10 14:07:53 修改

阅读量263

点赞数

分类专栏：计算广告文章标签：架构

于 2023-10-09 22:11:41 首次发布

本文链接：https://blog.csdn.net/mktyou1/article/details/133716169

版权

计算广告专栏收录该内容

12 篇文章 1 订阅

订阅专栏

Graph是什么

Graph是一个Serverless全图化业务托管平台。Graph应用全图化开发模型，提供丰富的运行时组件，支持CI/CD全生命周期项目管理，具备主动式资源优化能力。

Graph解决什么问题

当前广告系统架构采用分布式微服务的设计理念，通过服务分治实现各组织间开发、运维、资源等维度解耦，并通过RPC实现服务间通信，实现多服务联动。微服务的逻辑基础是“服务自治”与“服务复用”，这些设计从软件管理、资源适配两个维度给业务系统带来了诸多好处。但随着广告业务复杂度增长，广告中台系统呈现出“服务间联动”与“流量端自治”两个趋势。这些变化趋势逐渐打破微服务理念的逻辑基础，在研发效率、持续集成、资源利用率等方面给系统带来一系列问题。
Graph希望通过建设全图化业务托管系统，将按照服务分治的水平物理架构转变为按照业务场景分治的垂直逻辑架构，提供全业务视图的研发、运维体系，同时进一步提升在线执行引擎调度、混部的灵活性，实现算子粒度的资源智能编排，以追求资源最大化利用。

当前痛点

开发视角

瞻前顾后：在开发某个逻辑的时候，需要首先熟悉前后相关逻辑，确定依赖的前置逻辑能正确执行，确保修改逻辑对后面逻辑不会产生预期外的影响。
扑朔迷离：业务代码和实验参数高度耦合，难以清晰看到全局业务流程，难以高效清除废弃逻辑。

集成交付视角

左顾右盼：部分业务改造和系统级项目（nuwa、addebug）涉及多个模块配合上线，需要考虑上下游兼容发布等问题，费时费力。
闭关锁国：模块一旦完成划分，重新调整边界成本高（如cypher-inspire合并、inspire-sendcontrol拆分），导致系统的重构难度加大，不便于长期管理。

系统资源视角

指鹿为马：模块划分规则并未遵从系统最优原则，而是以经验主导进行面向组织分工的划分，存在系统层面的损耗。
舍近求远：星型架构下，各叶子节点服务间传输数据须经中心节点转发，造成带宽、CPU浪费，且会增加延时。

痛点的深层原因

系统熵增：业务永远在迭代，业务系统会越来越复杂。
组织分工：分工虽然提升了内部效率，但也引入了边界损耗，业务团队间、业务与中台间、中台各个模块间存在大量认知成本、协作成本。
自动化、智能化缺失：目前仍需人力介入大量重复性工作，并依赖人力处理大量经验性工作，效率低，质量低，成本高。

解决痛点

开发视角

瞻前顾后 -> 以Lambda算子为开发标准，参考TensorFlow算子实现，利用开发框架强约束开发模式，实现算子内逻辑内聚、算子间逻辑解耦。所有数据依赖通过算子的input、output显式声明，避免跨算子认知负担。
扑朔迷离 -> 用数据流图串联所有算子，提供完善的图DSL，并支持图可视化，清晰表达算子间关系。用条件语句表达图分支，便于在图上进行实验管理，实现执行流程与算子实现解耦，降低理解成本。

集成交付视角

左顾右盼 -> 建设以业务图为粒度的发布体系，用标准化、自动化的发布流程实现跨集群协同发布，并实现完备的版本管理系统，让业务同学在发布时无需关注系统繁琐细节。
闭关锁国 -> 统一算子开发框架与通信框架，建立公共算子仓库组，算子可以在各个机器间灵活移动部署，便于实现面向各种目标的模块间重组。

系统资源视角

指鹿为马 -> 对给定的业务图进行自动化、智能化切分与编排，并对切分后图片段进行全自动部署、切流、实验，提高时延约束下的资源最大化利用。
舍近求远：数据机器间的数据交互模型由RPC常用的“ping-pong模型”变为单向传递的“数据流模型”。

在新的模式下：开发走向Lambda算子化，开发具体逻辑所需的关注域逐渐缩小。psm、模块、服务等概念逐渐弱化，甚至消失，取而代之的是“图”。“图”内的编排、部署、版本管理等全部实现自动化、智能化，数据机器间的数据交互模型由RPC常用的“ping-pong模型”变为单向传递的“数据流模型”。机器资源逐步走向池化，抽象出CPU线程资源池、GPU资源池、内存池、存储池等。此外，系统还需要一系列辅助设施，如CodeGen工具、可观测工具、Debug工具等。

在这里插入图片描述

Graph的底层逻辑

降低熵增速度：Graph无法实现熵减，但可以促进清理无效复杂度，通过合理标准化降低复杂度增长的速度
降低熵增代价：Graph将沟通成本、认知成本、操作成本等较高的人力成本，转移给成本较低的自动化、智能化机器

潜在收益

痛点是当下已经损失的“沉没成本”，解决痛点是在“及时止损”。在解决痛点的基础上，Graph也借机完善当下尚未做到最好的领域，“追求收益”。

用数据流视角重构广告业务，降低业务理解成本
形成业务图/算子库、中间件算子库，提高复用度，更快速的验证、搭建新业务
消除“多模块视角”的时延约束、资源约束，统一为整体约束，为基于流量价值的资源资源调控打下基础

“能被看到的问题”不是全部问题

痛点是“能被看到的问题”，但是有些问题其实被隐藏在“惯性思维”中，人们并没有觉得不合理。当基础模式发生重大变化时，需要主动做推演，挖掘潜在问题，引导形成更合理的局面。
例如，当psm逐渐弱化之后，服务间机器资源分配不均导致的“单服务瓶颈”理应消失，在做算力决策相关设计时，可以不考虑这方面的约束。

Graph要做什么

在这里插入图片描述

细节展示
第一步：定义数据类型（如有新增）

{
    "Graph_data_types": [
        "AidTable",
        "CidTable",
        "RequestInfo"
    ]
}

第二步：定义算子

{
    "name": "DemoOp",
    "clazz": "ads::engine::DemoOp",
    "input_args": [
        {
            "type": "AidTable"
        },
        {
            "type": "RequestInfo"
        }
    ],  
    "output_args": [
        {
            "type": "CidTable"
        }
    ]   
}

第三步：开发图

import Graph
op_loader = Graph.OpLoader()
Graph.DataTypeManager().load_data_type("ads_pkg/data_type.json")
ads_pkg = op_loader.load_module("ads_pkg/op_declare/")

……

cid_table = ads_pkg.DemoOp(aid_table, req_info)

……

g = Graph.Graph()
g.run(cid_table)
g.dump("xxxxx/demo.json")

第四步：开发数据类型（如有新增）&开发算子

class AidTable {
  DEC_FIELD(aid, int);
  ......
};
#include <ad/Graph/src/graph_engine/engine/node.h>
#include <ad/Graph/src/graph_engine/engine/global_ctx.h>
#include "ads/data_type/cid_table.h"
#include "ads/data_type/aid_table.h"
#include "ads/data_type/request_info.h"
.....

class DemoOp
        : public Graph::graph::Node,
          public cpputil::dynamic::DynamicCreator<Graph::graph::Node, DemoOp, std::string,
                                                  const std::vector<std::string>&, cpputil::json::JsonParamsPtr> {
  public:
    folly::Future<int> async(std::shared_ptr<Graph::graph::GlobalCtx> global_ctx) override;
    .....
}

folly::Future<int> DemoOp::async(std::shared_ptr<Graph::graph::GlobalCtx> global_ctx) {
    std::shared_ptr<AidTable> aid_table;
    std::shared_ptr<RequestInfo> req_info;
    get_input<0>(aid_table);
    get_input<1>(req_info);
    ......
    std::shared_ptr<CidTable> cid_table = std::make_shared<CidTable>();
    set_output<0>(cid_table);
    .....
}