sriov-network-device-plugin 代码分析

代码路径

GitHub - k8snetworkplumbingwg/sriov-network-device-plugin: SRIOV network device plugin for KubernetesSRIOV network device plugin for Kubernetes. Contribute to k8snetworkplumbingwg/sriov-network-device-plugin development by creating an account on GitHub.https://github.com/k8snetworkplumbingwg/sriov-network-device-plugin.git

主流程（main.go:main()可见）

1. 读取cni配置信息并初始化服务句柄（/etc/pcidp/config.json）

   type resourceManager struct {
     cliParams // 系统参数
     pluginWatchMode bool // 插件模式，通过目录'/var/lib/kubelet/plugins_registry' 来判断模式，目前使用的插件注册模式
     rFactory        types.ResourceFactory // 接口服务，接口封装了服务主要接口调用
     configList      []*types.ResourceConfig // 解析/etc/pcidp/config.json中配置文件存放在此，并根据configList未后续步骤3提供config
     resourceServers []types.ResourceServer // 通过步骤3将相应的服务初始化成ResourceServer，追加再次，后续用于开启Resource服务
     deviceProviders map[types.DeviceType]types.DeviceProvider
   }

2. 采集主机的pci信息，并根据class分类（当前未两种NetDeviceType，AcceleratorType）

   经过NetDeviceType.AddTargetDevices，AcceleratorType.AddTargetDevices过滤

3. 服务初始化

   根据配置文件对device设备进行筛选，初始化为一个资源服务，并提供接口

   type ResourceFactory interface {
     GetResourceServer(ResourcePool) (ResourceServer, error)
     GetDefaultInfoProvider(string, string) DeviceInfoProvider
     GetSelector(string, []string) (DeviceSelector, error)
     GetResourcePool(rc *ResourceConfig, deviceList []PciDevice) (ResourcePool, error)
     GetRdmaSpec(string) RdmaSpec
     GetDeviceProvider(DeviceType) DeviceProvider
     GetDeviceFilter(*ResourceConfig) (interface{}, error)
     GetNadUtils() NadUtils
   }

1. 启动服务

   每个资源服务会在/var/lib/kubelet/plugins_registry创建相应的sock文件
   服务句柄为
   type resourceServer struct {
     resourcePool       types.ResourcePool // 保存
     pluginWatch        bool // 
     endPoint           string // Socket file
     sockPath           string // Socket file path
     resourceNamePrefix string
     grpcServer         *grpc.Server
     termSignal         chan bool
     updateSignal       chan bool
     stopWatcher        chan bool
     checkIntervals     int // health check intervals in seconds
   }

2. 等待终止信号

Kubelet接口

deviceplugin:
• registerapi:  k8s.io/kubelet/pkg/apis/pluginregistration/v1 
  • 通信机制：GRPC
  • PROTO: k8s.io/kubelet/pkg/apis/pluginregistration/probe/v1/api.proto
• pluginapi:  k8s.io/kubelet/pkg/apis/deviceplugin/v1beta1
  • 通信机制：GRPC
  • PROTO: k8s.io/kubelet/pkg/apis/deviceplugin/v1beta1/api.proto

服务流程

主逻辑server.go

type resourceServer struct {
  resourcePool       types.ResourcePool //资源池接口
  pluginWatch        bool  //监听插件使能
  endPoint           string // Socket file kubelet
  sockPath           string // Socket file path  resourceServer
  resourceNamePrefix string // 资源名称
  grpcServer         *grpc.Server //  grpc服务
  termSignal         chan bool
  updateSignal       chan bool
  stopWatcher        chan bool
  checkIntervals     int // health check intervals in seconds 默认20秒
}

1. 获取服务资源名称，将资源池中的设备保存在/var/run/k8s,cni.cncf.io/devinfo/dp/中

2. 监听/var/lib/kubelet/plugins_registry/自身服务的套接字（grpc流程 通信方式：unix）

3. 注册服务（grpc流程）

   pluginapi.RegisterDevicePluginServer(rs.grpcServer, rs)

该接口作为kubelet的调用实现
type DevicePluginServer interface {
  GetDevicePluginOptions(context.Context, *Empty) (*DevicePluginOptions, error)
  ListAndWatch(*Empty, DevicePlugin_ListAndWatchServer) error
  Allocate(context.Context, *AllocateRequest) (*AllocateResponse, error)
  PreStartContainer(context.Context, *PreStartContainerRequest) (*PreStartContainerResponse, error)
}

1. 启动服务（grpc流程）

Kubelet事件

ListAndWatch

Allocate

Kubelet接口测试

调试

问题汇总

• 节点中如何定义资源呢？

为节点发布扩展资源 | Kubernetes

• 如何为容器分配资源呢？

为容器分派扩展资源 | Kubernetes