[A-Tune智能调优引擎]-学习总结③-架构浅析

以下内容参考：https://gitee.com/openeuler/A-Tune

六.核心功能

A-Tune主要包括在线静态调优和离线动态调优两大核心能力。下面是工作方式。

1.在线静态调优

通过AI技术在离线时进行模型训练，形成一些AI模型，在在线时对运行的环境进行负载识别，然后通过优化库对优化配置进行下发，最终对系统进行调优。

2.离线动态调优

根据给定的参数自调优。

七.核心代码

1.analysis

analysis这部分主要负责实现在线静态调优这一部分，dataest存放训练模型的数据集，这些cvs数据集都是在应用加压下采集的。

 在models目录存放模型文件

.

2.modules

modules中存放着客户端和服务端一些命令的操作入口，比如profile_collection.go是collect命令行的操作入口，通过grpc调用其中的collection方法，查询数据库中的collection表，根据表中的module和purpose字段确定具体的采集项.

3.profiles

profiles部分存放.conf结尾的配置文件，每一个负载场景对应一个profiles。profile中的优化配置参数一部分来自资深工程师在实际环境中调优得到的人工经验，一部分是通过atune提供的离线动态调优功能进行调优得到的最优参数.

 

4.tuning

tuning是离线动态调优相关，其中csv数据集都是加压采集的，还列出了一些调优配置的yaml文件，通过对参数进行动态空间的搜索，找到当前环境配置下的最优解。

八.软件架构

A-Tune整体架构包括智能决策层、系统画像层和交互系统层这三层。

1.智能决策层

包含感知和决策两个子系统，分别完成对应用的智能感知和对系统的调优决策。其中在线静态调优和离线动态调优在这一层完成。这一层涉及到核心功能的工作过程。

在线静态调优不需要人为的输入，但是需要优化配置库。可以是资深工程师把配置固化下来，也可以是离线动态调优将配置固化，把优化好的参数固化下来放到优化库。基于训练好的模型，进行负载识别，可以识别到具体的应用，然后进行最优配置的下发，速度是分钟级别。主要面向普通用户，不需要对参数了解。

离线动态调优需要给定配置参数，给定评价指标，主要面向专业的工程师。比如对一款性能越高越好的应用，评价指标可能就是吞吐量。这是一种反馈式的循环调优，不需要经验库，是一个参数搜索，反复迭代的过程，最终给出最优配置。当前主要应用的式贝叶斯算法，完成的时间会长一些，可能以天为单位。

2.系统画像层

主要包括自动特征工程和两层分类模型，自动特征工程用于业务特征的自动选择，两层分类模型用于业务模型的学习和分类。在这一层主要应用了一些AI算法。涉及到核心功能的工作原理。

在线静态调优的原理：在离线情况下采集数据集，利用双层分类模型，第一层分类器识别出两种类型，默认类型的和高吞吐的；第二层分类器识别到具体的应用。A-tune可以提供一键式训练功能，首先对数据采集（最高支持52维），提供标准接口，然后对没个数据集打标签，然后执行训练命令，识别精度达到应用级别。

离线动态调优原理：分为三个os服务器，分别是客户端，服务端，贝叶斯算法的AI引擎。在客户端上需要运行调优命令，发送请求，在服务端，也就是被调对象，上面有一些应用，把需要的参数发送给AI引擎，然后得到新的参数配置。根据贝叶斯算法，迭代次数越多，模型越准确，直到达到最优结果并返回服务器。实际中，对工程师给定的参数，如果很多，会自动选择最重要的几个参数进行调优。

重要参数选择：即寻找影响最大的参数。选择算法主要采用LHS（拉丁超立方抽样算法）算法和Traverse算法，均匀的采集几个点，可以是离散型，int型，str型，可以在配置文件选择是否需要走重要参数选择这一步。这样对于一些影响较小的参数，没有调节必要的参数，会做出把这些参数放弃的选择。

3.交互系统层

用于各类系统资源的监控和配置。在线时需要采集系统中的一些数据，比如cpu使用率，网络io，通过识别这些基础数据，达到识别某一款应用和负载的目的。