2022年ICT软件技术大会·武汉站——架构建模&海量计算专场

2022年ICT软件技术大会·武汉站——架构建模&海量计算专场

一、复用思维在软件实现设计中的应用实践

• 主讲人：徐林
• 分享过程中提到了国外的软件实现过程一般还是会在编码前做好完整的架构和设计，最后代码实现其实只是很小的一部分可以理解成就是一个翻译的过程。
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sJjO2qGK-1658556723971)(http://image.huawei.com/tiny-lts/v1/images/1a7b165935af35e7d8d773c7f2fef24d_4608x2128.jpg@900-0-90-f.jpg)]
• 1.那么编码前做设计来持续降低软件复杂性我们会更倾向于图上的战略性编程思路一些，不仅仅要求可工作的代码，以好的设计为重，未来的功能投资，认为县间断在设计上的投入会在未来获得回报；
• 2.而目前缩小复杂性的范围的方式有很多比如通过分治：
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CeqKdnJ4-1658556723972)(http://image.huawei.com/tiny-lts/v1/images/904b386e3e347c809c38b18061884448_4608x2128.jpg@900-0-90-f.jpg)]
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GQ6E8xNN-1658556723973)(http://image.huawei.com/tiny-lts/v1/images/59a0023db758025dc7d4f7a0dbde72bb_4608x2128.jpg@900-0-90-f.jpg)]
• 3.同时目前还提出了一个Actor框架可以用来复用不同编程语言的实现例如Go和C；
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-agmU66Cy-1658556723973)(http://image.huawei.com/tiny-lts/v1/images/69cf653642adfcd83de70d78b03c5346_4608x2128.jpg@900-0-90-f.jpg)]
• 4.除此之外还有一个很好理解的点就是为相同的处理提取公共机制库，那么调库会很好的在复用层面来解决软件复杂度；通过开发框架、公共机制库的复用，可以有效隐藏部分细节，实现软件复杂度分治；
  同时开发人员基于已有框架、公共机制库进行设计和开发，可以避免重复投入，降低门槛，提升效率；
  产品针对开发框架、公共库进行全量、重点看护，有利于通过提升公共部件质量改善产品质量基线。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QPgi9KH5-1658556723973)(http://image.huawei.com/tiny-lts/v1/images/6700a9077e87e663bad8f666126227d6_4608x2128.jpg@900-0-90-f.jpg)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RhDvg2EV-1658556723973)(http://image.huawei.com/tiny-lts/v1/images/2765bd8f15f9533a848f5de01e83d540_4608x2128.jpg@900-0-90-f.jpg)]

• 5.分享的最后徐老师还给我们推荐了一些可以给我们提升软件实现设计能力的充电课程：
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Sc1dbYup-1658556723974)(http://image.huawei.com/tiny-lts/v1/images/4fb53513c5d53b669896287b3cc9db75_4608x2128.jpg@900-0-90-f.jpg)]

二、泛在分布式智能-开放世界的智能构建

• 主讲人：李瑞轩（华中科技大学计算机科学与技术学院副院长）
• 1.在ML以及DL模型在训练的过程中，梯度更新策略决定了收敛速度以及最后的算法性能，这里李教授提到了一种OSP的梯度更新策略，在公开数据集下基于一些经典的框架取得了很好的效果：
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GdS2XDWC-1658556723974)(http://image.huawei.com/tiny-lts/v1/images/7e55b9136ba8e2bd90e47880e998bd90_4608x2128.jpg@900-0-90-f.jpg)]
• 2.其次另一个关键问题就是常见得数据异构问题，现有的方法主要是通过联邦学习解决数据异构（非独立同分布）的方法通常针对同步模型，降低数据倾斜导致的梯度方差；但是这种方法也相应的有弊端，往往需要大部分节点梯度的平均量作为校准值，导致无法适用于异步模型；
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-diVKfyt3-1658556723975)(http://image.huawei.com/tiny-lts/v1/images/1603db13edd5d9e48d1230473006fc9e_4608x2128.jpg@900-0-90-f.jpg)]
• 针对数据异构问题非独立同分布的策略就是方差降低：其中就包括我们熟知的根据动量与梯度校准值具有极大的相似性而从动量角度提出异步并行模型下的方差降低方法：例如全局动量、梯度调度以及局部平均梯度；
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RLvGwBdN-1658556723975)(http://image.huawei.com/tiny-lts/v1/images/b141a7e06df024bf6f62a429da71968c_4608x2128.jpg@900-0-90-f.jpg)]
• 李教授的介绍中还提到了本地动量和全局动量的两个概念，全局动量是在GSGM中提出的方案，在中心服务器端应用动量；在Non-IID数据下具有比较好的优势；
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LT6xKLEr-1658556723975)(http://image.huawei.com/tiny-lts/v1/images/82eb4a23aeb7f8256bf2475c47acb1ef_4608x2128.jpg@900-0-90-f.jpg)]
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qdBmtz7u-1658556723976)(http://image.huawei.com/tiny-lts/v1/images/8432fd62a9de79cd339af50bad57e698_4608x2128.jpg@900-0-90-f.jpg)]
  那么上述提出GSGM也在结果上取得了能够保证异步并行模型快速收敛速度以及最好收敛结果的成果。
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sU856zbv-1658556723976)(http://image.huawei.com/tiny-lts/v1/images/0bbb9b63a5e586dadffb717825b6351c_4608x2128.jpg@900-0-90-f.jpg)]
• 3.除了异构数据之外呢，其实目前数据隐私安全也是一个很重要的话题，这里提到了梯度隐私泄露的一种可能，聚合服务器可以逆转梯度得到原始数据；
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-neHYbwzI-1658556723977)(http://image.huawei.com/tiny-lts/v1/images/0b5e0d243210b7d2c9648198597e5136_4608x2128.jpg@900-0-90-f.jpg)]
  针对这个敏感性的问题参数化蒸馏成为了不二之选，蒸馏算法聚合Logit，不需要上传原始梯度；当然这个方法也有他的不足，现有的联邦蒸馏直接平均Logit，无法拟合异构数据分布；
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bhA1AbPE-1658556723977)(http://image.huawei.com/tiny-lts/v1/images/cc3e92720bdf8763fc9cd69cd5abcf61_4608x2128.jpg@900-0-90-f.jpg)]
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iapCkOVn-1658556723978)(http://image.huawei.com/tiny-lts/v1/images/a6bd34c9f44a909914d881a032aa75b3_4608x2128.jpg@900-0-90-f.jpg)]
  这里的根本思想就是每个节点将自己视作蒸馏算法的学生，将其他节点视作老师，学生为每个老师分配不同的偏好参数，并从所有其他老师学习知识；据此偏好参数根据模型更新反馈也动态更新。
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kYZa4t7j-1658556723979)(http://image.huawei.com/tiny-lts/v1/images/9ef7aaa59c8b3a0efc8fd0777cf99703_4608x2128.jpg@900-0-90-f.jpg)]
• 4.针对车载的一个情况呢也提到了目前部分边缘设备也就是端侧的设备无法完整保存和训练机器学习模型的问题:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wdYS76OZ-1658556723979)(http://image.huawei.com/tiny-lts/v1/images/6e79c548cf98dd5bf6eec73f069c21dd_4608x2128.jpg@900-0-90-f.jpg)]
  以及一个数据难对齐的问题：
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R9gXzuoO-1658556723980)(http://image.huawei.com/tiny-lts/v1/images/65c074e1fa646a23473d69fc76ed33f2_4608x2128.jpg@900-0-90-f.jpg)]
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cJUea8Em-1658556723980)(http://image.huawei.com/tiny-lts/v1/images/0ca52a2e88005919d1322e3e482669b4_4608x2128.jpg@900-0-90-f.jpg)]

三基于autosar架构下车载软件平台化开发实践

• 主讲人：董伟
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gAa27v1B-1658556723981)(http://image.huawei.com/tiny-lts/v1/images/498ab5aa51f61a78f14564ba35a46a51_4608x2128.jpg@900-0-90-f.jpg)]
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KnsbTnLa-1658556723981)(http://image.huawei.com/tiny-lts/v1/images/ba7a6c4e72e88b685e729ca2225f5f46_4608x2128.jpg@900-0-90-f.jpg)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iqAlej4A-1658556723982)(http://image.huawei.com/tiny-lts/v1/images/956f00850097d03203ea9b90ccaae2a1_4608x2128.jpg@900-0-90-f.jpg)]
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z1162SCN-1658556723982)(http://image.huawei.com/tiny-lts/v1/images/b8c7b0d1678a29d4cabd418c25837439_4608x2128.jpg@900-0-90-f.jpg)]
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zWVem1Pg-1658556723982)(http://image.huawei.com/tiny-lts/v1/images/b4261e1a5bb8cf450792125863b8638d_4608x2128.jpg@900-0-90-f.jpg)]