产品背景知识：算力拦截、算力超分、算力隔离、热迁移

算力拦截

• 定义：一种实时监控和干预机制，防止单一任务或用户过度占用计算资源，避免系统资源耗尽与性能下降。
• 目标：保障所有任务公平使用资源，防止任务独占资源致使其他任务无法运行。
• 实现方式
  • 资源监控：实时对CPU、GPU显存等资源使用状况进行监测，精准识别异常或过高的资源占用情况。
  • 动态调整：一旦检测到资源使用超越预设阈值，便采取暂停任务或降低其资源使用量等措施来限制资源分配。
  • 策略管理：依据预定义的策略，能够自动或者手动对资源分配进行干预。
• 应用场景
  • 云计算平台：有效防止租户过度使用资源，有力保证服务质量。
  • 数据中心：合理管理众多任务或用户的资源使用，避免出现资源争用问题。
  • 高性能计算（HPC）：确保多个计算任务高效运行，避免资源浪费，提升整体计算效率。

算力显存超分

• 定义：在显存资源有限时，运用虚拟化或资源复用技术，使多个任务能够共享显存资源的优化策略。
• 核心思想：允许显存使用量超出物理显存总容量，借助动态分配和回收显存资源，提高显卡利用率。利用多个任务显存需求峰值不同时出现的特点，充分利用空闲资源。
• 应用场景：常见于虚拟化环境，如NVIDIA的MIG技术，可将一块显卡划分为多个独立GPU实例，每个实例分配一定显存，允许多个任务或用户同时使用同一块显卡且互不干扰。
• 风险：若显存超分过度，易导致显存不足，引发任务失败或性能降低，所以需依据实际任务需求合理配置。

算力隔离

• 定义：通过把计算资源划分成独立的区域或资源池，保证不同任务或用户之间相互不干扰的资源划分策略。
• 目标：提供资源的独立性与安全性，防止任务间出现资源争用和性能相互影响的情况。
• 实现方式
  • 虚拟化技术：借助虚拟机或容器，为每个任务或用户提供独立的计算资源，实现逻辑上的隔离。
  • 资源配额：为每个任务或用户分配固定的资源量，使其能独立使用资源，避免相互干扰。
  • 硬件隔离：在物理层面将特定的GPU或CPU核心等资源分配给特定任务，实现最彻底的隔离。
• 应用场景
  • 多租户环境：在云计算中为每个租户分配独立资源，保障数据和任务的隔离性与安全性。
  • 高可用性系统：通过资源隔离增强系统的稳定性与可靠性，减少故障影响范围。
  • 敏感任务：对于安全性要求高的任务，确保其资源独立，防止数据被干扰或窃取。

热迁移

• 定义：一种虚拟化技术，可在不中断服务的前提下，将虚拟机或容器从一台物理主机转移到另一台物理主机。
• 核心特点
  • 无中断：迁移期间，虚拟机或容器能正常运行，用户无感知，保证了业务的连续性。
  • 资源优化：可通过动态迁移平衡主机间的负载，提升资源利用率，使资源分配更合理。
  • 容灾备份：主机故障时能快速将任务迁移到其他主机，确保业务不中断，提高系统的容错能力。
• 实现方式
  • 内存状态传输：迅速将虚拟机的内存状态传至目标主机，保证数据的连续性。
  • 网络配置调整：及时更新网络配置，确保迁移后的虚拟机能够正常进行网络通信。
  • 存储优化：利用共享存储或增量传输，减少迁移所需的时间和带宽，提高迁移效率。
• 应用场景
  • 云计算平台：可动态调整资源分配，提高服务的可用性和灵活性，满足不同业务需求。
  • 数据中心：进行硬件维护或升级时，能无缝迁移任务，避免业务中断，降低维护成本。
  • 高可用性系统：在故障发生时能快速恢复服务，保障系统的稳定运行，减少故障对业务的影响。