SOPHON BMCV中使用bm_image的相关问题

1.cv::Mat如何转换为bm_image

1. 如果使用BM-OpenCV创建cv::Mat ，想把它变成bm_image，那么你需要创建一个具备设备内存的Mat，也就是使用含有dev_id的参数的构造函数（也就是创建1个我们改造过的Mat），这样你才能把这个Mat通过toBMI转换为bm_image，并且这个转换过程不会发生数据拷贝，bm_image只会引用Mat的设备内存;

2. 如果你使用data指针构造没有设备内存的原始cv::Mat，这个cv::Mat不能调用toBMI转换为bm_image，如果你确实有一个原始OpenCV的cv::Mat，要转换为bm_image，那么你应当：创建一个有设备内存的Mat，然后使用Mat.copyTo将openCV的cv::Mat的系统内存拷贝到有设备内存的Mat的系统内存空间，然后使用cv::bmcv::uploadMat将有设备内存的Mat的系统内存同步到其设备内存，然后再调用toBMI将其转换为bm_image。

2. 如何将bm_image转为cv.Mat

1. Python中cv.Mat就是一个numpy.array，请参考以下代码：

   from sophon.sail import sail
   import numpy as np
   
   # engine = sail.Engine(model_path, device_id, io_mode)
   # handle = engine.get_handle()
   
   bm_image = sail.BMImage()
   
   # 如果bm_image的format是FORMAT_BGR_PACKED或FORMAT_RGB_PACKED,
   # 需要先转换成FORMAT_BGR_PLANAR或FORMAT_RGB_PLANAR，
   # 再送入bm_image_to_tensor转Tensor，如
   # image_bgr_planar = sail.BMImage(handle,  bm_image.height(),  bm_image.width(), sail.Format.FORMAT_BGR_PLANAR,  bm_image.dtype())
   # sail.Bmcv(handle).convert_format(bm_image, image_bgr_planar)
   # 转换到FORMAT_BGR_PLANAR，再将image_bgr_planar通过bm_image_to_tensor转换成Tensor
   
   result_tensor = sail.Bmcv(handle).bm_image_to_tensor(bm_image) # 传入handle，初始化sail.Bmcv
   result_numpy = result_tensor.asnumpy()
   np_array_temp = result_numpy[0]
   np_array_t = np.transpose(np_array_temp, [1, 2, 0])
   mat_array = np.array(np_array_t, dtype=np.uint8)
   

2. C++中使用cv::bmcv::toMat()接口

3. 使用NV12原始数据，创建bm_image的注意事项

NV12 有2个plane，stride应为二维数据，调用bm_image_create() 或者 不指定stride，内部自己计算；或者指定stride。

指定stride时，必须指定完整的stride，注意NV12 的stride应为二维数组，并指定2个plane的stride。

由于NV12 是2个plane，因此，如果要使用bm_malloc_device_byte和bm_image_attach的话，需要分别调用2次bm_malloc_device_byte分别为每个plane申请设备内存，这样会得到2个bm_device_mem_t，把他们写成1个数组，然后再用这个数组来调用bm_image_attach。

因此，建议使用bm_image_alloc_dev_mem来申请内存，而不是bm_malloc_device_byte。

4. BMCV相关接口，输入和输出可以使同一个bm_image吗

不可以。bmcv_image_resize, bmcv_image_convert_to, bmcv_image_vpp_convert 等这些接口，input和output的bm_image应当是不同的内存地址对象，不支持in-place操作。

5. 调用 bmcv_image_vpp_convert_padding 接口时，报缩放比例超过32倍的错：“vpp not support: scaling ratio greater than 32”

BM1684的VPP中硬件限制图片的缩放不能超过32倍。即应满足 dst_crop_w <= src_crop_w * 32， src_crop_w <= dst_crop_w * 32， dst_crop_h <= src_crop_h * 32 , src_crop_h <= dst_crop_h * 32。

此问题原因可能是：

1. 输入 crop_rect 中的crop_w, crop_h 与 输出 padding_attr 中的dst_crop_w ，dst_crop_h 缩放比例超过了32倍。
2. crop_rect，padding_attr 值的数量应与 output_num的数量一致。

6. SOPHON OpenCV转bm_image的时候，报错“Memory allocated by user, no device memory assigned. Not support BMCV!”

这种错误通常发生在soc模式下，所转换的Mat只分配了系统内存，没有分配设备内存，而bm_image要求必须有设备内存，因此转换失败。而在pcie模式下，接口内部会自动分配设备内存，因此不会报这个错误。
会产生这类问题的Mat通常是由外部分配的data内存attach过去的，即调用Mat(h, w, data) 或者Mat.create(h,w, data)来创建的，而data!=NULL,由外部分配。

对于这种情况，因为bm_image必须要求设备内存，因此解决方案有:

1. 新生成个Mat，默认创建设备内存，然后用copyTo()拷贝一次，把数据移到设备内存上，再重新用这个Mat来转成bm_image
2. 直接创建bm_image，然后用bm_image_copy_host_to_device,将Mat.data中的数据拷贝到bm_image的设备内存中。