matplotlib的AxesImage与PIL以及skimage的图片格式互转的学习（踩坑）记录

问题来源

最近在做一个可视化界面与AI算法的项目时候，需要把热力图回显到界面上，其中用到了skimage.segmentation.mark_boundaries以及pyplot，因为与QT结合的话，若将图片显示到QLable中需要PIL.Image格式，因此碰到了格式互转问题

关于pyplot的记录

绘制热力图的注意事项记录：

# 创建figure与axes，网上有人称为图表和子图
fig, ax = plt.subplots()
# 取消坐标轴的显示
ax.axes.xaxis.set_visible(False)
ax.axes.yaxis.set_visible(False)
# 注意先画img再画热力图，否则热力图显示不出来
ax1 = ax.imshow(heat_map, cmap='jet', norm=norm)    # 用于设置色条
ax.imshow(img, cmap='gray')
ax.imshow(heat_map, cmap='jet', alpha=0.5)  # 设置热力图的颜色和格式并h绘制，记得plt.close()以防止内存泄露

绘制与热力图颜色相对应的色条标度

rect = [left, bottom, width, height]  # 左下角坐标，宽高
cbar_ax = fig.add_axes(rect)  # 把柱状图画在相应的区域，向画布添加子图
cb = plt.colorbar(ax1, shrink=0.6, cax=cbar_ax, fraction=0.046)  # 将ax中的数值对应到色条上
cb.ax.tick_params(labelsize=8)  # 设置色标刻度的字体尺寸
font = {
        'family': 'serif',
        'color': 'black',
        'weight': 'normal',
        'size': 8,
         }
cb.set_label('Anomaly Score', fontdict=font)

AxesImage与Image的互转

上述我们已经得到了在原图上绘制了热力图的axesimage，现在需要将其转换为PIL格式，转换的方式也是在网上找了很多，最终找到这位同学[1]的，参考其方法并依据现有的numpy版本推荐方式加以改正，方式如下：

# 需要用到matplotlib的后端
from matplotlib.backends.backend_agg import FigureCanvasAgg
canvas = FigureCanvasAgg(fig)  # 由当前图表获取整体画布
# 绘制图像
canvas.draw()
# 获取图像尺寸
w, h = canvas.get_width_height()
# 解码string 得到argb图像，原博主是用fromstring，目前的np推荐是frombuffer
# 注意dtype
buf = np.frombuffer(canvas.tostring_argb(), dtype=np.uint8)
buf.shape = (w, h, 4)   # w,h,a*r*g*b
buf = np.roll(buf, 3, axis=2)   # w,h,r*g*b*a
# 同样的，原博主使用tostring()，使用tobytes()更符合目前标准
heat = Image.frombytes('RGBA', (w, h), buf.tobytes())    # 从axes转为PIL
plt.close()

最终得到的heat变量就是我们要用的Image格式

skimage转换为Image

# 用到的代码
vis_img = mark_boundaries(img, mask, color=(1, 0, 0), mode='thick')  # 标注分割的边界，这是一个array

首先我们查看skimage的官方文档，因为使用了mark_boundaries，所以我们需要清楚其函数返回的是什么：

返回的是float型的数组！！在实操中发现，我们不可以直接

vis_img = Image.fromarray(np.uint8(vis_img))

因为此时的vis_img经过mark_boundaries处理后，范围是[0,1]的float，不再是原来（我的代码图片是[0,255]的uint8 array）的[0,255]了，所以直接用uint8()转换肯定出错，图片会变成全黑的。所以应该：

vis_img = Image.fromarray(np.uint8(vis_img*255))

将数据乘255后再转换。
在查阅资料过程中发现skimage很多函数可能都存在这样的问题，图片格式不清晰，会把原有的uint8变成float，所以在使用该库的时候一定要看清楚要用的函数把图片变成什么了，才方便我们后续的格式转换

最终结果

1.标注异常边界：

2.标注异常热力图

调了好久终于搞出来了，学无止境，同学们共勉呀。

以上就是关于格式转换的学习记录。

reference

[1] https://blog.csdn.net/zywvvd/article/details/109538750