amdgpu kfd TTM USERPTR

USERPTR

alloc of gpu

vm_alloc_memory_of_gpu

domain = AMDGPU_GEM_DOMAIN_GTT;
alloc_domain = AMDGPU_GEM_DOMAIN_CPU;
alloc_flags = 0;

bp:
domain: GEM_DOMAIN_CPU(alloc_domain)
bo_type: ttm_bo_type_device
alloc_flags: 0

bo_create

为了shadow bo, wrapper了do_create

1. bo_do_create
   acc_size = 存储这个bo占用的真正页面所需要的空间
   preferred_domain = domain = GEM_DOMAIN_CPU;
   — bo_placement_from_domain()
   places[c].fpfn = 0;
   places[c].lpfn = 0;
   places[c].flags = TTM_PL_FLAG_SYSTEM;
   bo->allowed_domains = bo->preferred_domains;
   bo->flags = bp->flags;

   1. ttm_bo_init_reserved
      bo->type = ttm_bo_type_device;
      bo->num_pages (size + PAGE_SIZE - 1) >> PAGE_SHIFT;
      bo->mem.size = page对齐的字节数量
      bo->mem.mm_node = NULL; 存储bo在当前domain的位置的node
      bo->mem.mem_type = TTM_PL_SYSTEM . 默认创建的是SYSTEM,
      bo->mem.placement = (TTM_PL_FLAG_SYSTEM | TTM_PL_FLAG_CACHED); 默认
      属性是SYSTEM | cached
      placement->busy_placement = places; 移动位置和创建位置是一样的, USERPTR都是在SYSTEM

      上述三步 , USERPTR的tbo在第一次invalid校验compact是通过的

      bo->acc_size = acc_size; 这个size包括三部分(page ,CPU, DMA)
      drm_vma_offset_add 如果是CPU可见内存, 将当前bo的vma添加到drm, 可以进行mmap了. 需要ttm_vm.c处理fault.

      1. ttm_bo_validate()
         1. 兼容性匹配 ttm_bo_mem_compat , USERPTR是兼容的, 不走 下边的2, 只走到3
         2. palcement不兼容需要移动bo ttm_bo_move_buffer
         3. 创建存储系统内存页面的结构 ttm_tt_create
            1. bdev->driver->ttm_tt_create(bo, TTM_PAGE_FLAG_ZERO_ALLOC);
               申请GTT的存储结构(page array ) 以及对应的页面映射(bind)的方式

wrapper 驱动gfx 侧自己的bo, 管理chardev侧的bo, 标记这个bo是chardev这边申请的

使用的是 struct kgd_mem

bo->kfd_bo = *mem; 标记这个bo是给chardev使用
(*mem)->bo = bo; chardev这边找到tbo;
(*mem)->va = va; 申请时提供的va
(*mem)->domain = domain; 最终需要映射到的位置
(*mem)->mapped_to_gpu_memory = 0; 申请时还没有映射到GPU侧
(*mem)->process_info = avm->process_info; 保存计算的进程

init_user_pages 将真正的userptr绑定到tbo的ttm_tt

		`amdgpu_ttm_tt_get_user_pages`
		`amdgpu_bo_reserve`
		`hmm_device_entry_to_page` 获取页面信息,登记到pages的数组中, 这个数组就是ttm_tt

将 kgd_mem转换为idr

map to gpu

根据设备(n_device) 来循环页表映射的

1. 通过handel找到 alloc时的mem
2. 通过mem就知道对应的tbo, 并且在alloc时已经设置这个bo的目标domain(GTT)
3. reserve_bo_and_vm 当前bo停止移动, 需要预留进行map
4. 1388 – 1411 mapping , 进行页表更新