使用conv2D算子黑白边界检测(Pytorch/Paddlepaddle)

​ 下面是分别借助两种Pytorch/Paddlepaddle框架实现使用Conv2D算子完成一个图像边界检测的任务。图像左边为光亮部分，右边为黑暗部分，需要检测出光亮跟黑暗的分界处。

​ 设置宽度方向的卷积核为[1,0,−1]，此卷积核会将宽度方向间隔为1的两个像素点的数值相减。当卷积核在图片上滑动时，如果它所覆盖的像素点位于亮度相同的区域，则左右间隔为1的两个像素点数值的差为0。只有当卷积核覆盖的像素点有的处于光亮区域，有的处在黑暗区域时，左右间隔为1的两个点像素值的差才不为0。将此卷积核作用到图片上，输出特征图上只有对应黑白分界线的地方像素值才不为0。具体代码如下所示，结果输出在下方的图案中。

Pytorch版本

import matplotlib.pyplot as plt
import numpy as np
import torch
from torch.nn import Conv2d
from torchvision import transforms


# 创建初始化权重参数w w = np.array([1, 0, -1], dtype='float32')
# 将权重参数调整成维度为[cout, cin, kh, kw]的四维张量 w = w.reshape([1, 1, 1, 3])
w=torch.Tensor(w)
conv = Conv2d(in_channels=1, out_channels=1,kernel_size=[1, 3])
conv.weight=torch.nn.Parameter(w)

# 创建输入图片，图片左边的像素点取值为1，右边的像素点取值为0 img = np.ones([50,50], dtype='float32')
img[:, 30:] = 0.
# 将图片形状调整为[N, C, H, W]的形式 x = img.reshape([1,1,50,50])
x=torch.Tensor(x)
# 使用卷积算子作用在输入图片上 y = conv(x)
# 将输出tensor转化为numpy.ndarray out = y.detach().numpy()
f = plt.subplot(121)
f.set_title('input image', fontsize=15)
plt.imshow(img, cmap='gray')
f = plt.subplot(122)
f.set_title('output featuremap', fontsize=15)
# 卷积算子Conv2D输出数据形状为[N, C, H, W]形式 # 此处N, C=1，输出数据形状为[1, 1, H, W]，是4维数组 # 但是画图函数plt.imshow画灰度图时，只接受2维数组 # 通过numpy.squeeze函数将大小为1的维度消除 plt.imshow(out.squeeze(), cmap='gray')
plt.show()
# 查看卷积层的权重参数名字和数值 print(conv.weight)
# 参看卷积层的偏置参数名字和数值 print(conv.bias)

Paddlepaddle版本

import matplotlib.pyplot as plt
import numpy as np
import paddle
from paddle.nn import Conv2D
from paddle.nn.initializer import Assign
%matplotlib inline

# 创建初始化权重参数w w = np.array([1, 0, -1], dtype='float32')
# 将权重参数调整成维度为[cout, cin, kh, kw]的四维张量 w = w.reshape([1, 1, 1, 3])
# 创建卷积算子，设置输出通道数，卷积核大小，和初始化权重参数 # kernel_size = [1, 3]表示kh = 1, kw=3 # 创建卷积算子的时候，通过参数属性weight_attr指定参数初始化方式 # 这里的初始化方式时，从numpy.ndarray初始化卷积参数 conv = Conv2D(in_channels=1, out_channels=1, kernel_size=[1, 3],
       weight_attr=paddle.ParamAttr(
          initializer=Assign(value=w)))

# 创建输入图片，图片左边的像素点取值为1，右边的像素点取值为0 img = np.ones([50,50], dtype='float32')
img[:, 30:] = 0.
# 将图片形状调整为[N, C, H, W]的形式 x = img.reshape([1,1,50,50])
# 将numpy.ndarray转化成paddle中的tensor x = paddle.to_tensor(x)
# 使用卷积算子作用在输入图片上 y = conv(x)
# 将输出tensor转化为numpy.ndarray out = y.numpy()
f = plt.subplot(121)
f.set_title('input image', fontsize=15)
plt.imshow(img, cmap='gray')
f = plt.subplot(122)
f.set_title('output featuremap', fontsize=15)
# 卷积算子Conv2D输出数据形状为[N, C, H, W]形式 # 此处N, C=1，输出数据形状为[1, 1, H, W]，是4维数组 # 但是画图函数plt.imshow画灰度图时，只接受2维数组 # 通过numpy.squeeze函数将大小为1的维度消除 plt.imshow(out.squeeze(), cmap='gray')
plt.show()

输出结果

总结

一、在学习过程中，自己发现了两个框架大同小异，最主要的发现是卷积核的定义二者是不同的：

​ 1.Pytorch版本

​ torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)

​ 2.Paddlepaddle版本

​ class paddle.nn.Conv2D (in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, padding_mode=’zeros’, weight_attr=None, bias_attr=None, data_format=’NCHW’)

​ 飞桨的版本中可以直接在Conv2D从numpy.ndarray初始化卷积参数定义权重，而Pytorch需要在后续torch.nn.Parameter(w)转化成tensor形式提出。

二 、个人对transforms的to_tensor和torch的Tensor认识不够清晰,to_tensor()函数源码接受PIL Image或numpy.ndarray格式.