下面是分别借助两种Pytorch/Paddlepaddle框架实现使用Conv2D算子完成一个图像边界检测的任务。图像左边为光亮部分,右边为黑暗部分,需要检测出光亮跟黑暗的分界处。
设置宽度方向的卷积核为[1,0,−1],此卷积核会将宽度方向间隔为1的两个像素点的数值相减。当卷积核在图片上滑动时,如果它所覆盖的像素点位于亮度相同的区域,则左右间隔为1的两个像素点数值的差为0。只有当卷积核覆盖的像素点有的处于光亮区域,有的处在黑暗区域时,左右间隔为1的两个点像素值的差才不为0。将此卷积核作用到图片上,输出特征图上只有对应黑白分界线的地方像素值才不为0。具体代码如下所示,结果输出在下方的图案中。
Pytorch版本
import matplotlib.pyplot as plt
import numpy as np
import torch
from torch.nn import Conv2d
from torchvision import transforms
# 创建初始化权重参数w w = np.array([1, 0, -1], dtype='float32')
# 将权重参数调整成维度为[cout, cin, kh, kw]的四维张量 w = w.reshape([1, 1, 1, 3])
w=torch.Tensor(w)
conv = Conv2d(in_channels=1, out_channels=1,kernel_size=[1, 3])
conv.weight=torch.nn.Parameter(w)
# 创建输入图片,图片左边的像素点取值为1,右边的像素点取值为0 img = np.ones([50,50], dtype='float32')
img[:, 30:] = 0.
# 将图片形状调整为[N, C, H, W]的形式 x = img.reshape([1,1,50,50])
x=torch.Tensor(x)
# 使用卷积算子作用在输入图片上 y = conv(x)
# 将输出tensor转化为numpy.ndarray out = y.detach().numpy()
f = plt.subplot(121)
f.set_title('input image', fontsize=15)
plt.imshow(img, cmap='gray')
f = plt.subplot(122)
f.set_title('output featuremap', fontsize=15)
# 卷积算子Conv2D输出数据形状为[N, C, H, W]形式 # 此处N, C=1,输出数据形状为[1, 1, H, W],是4维数组 # 但是画图函数plt.imshow画灰度图时,只接受2维数组 # 通过numpy.squeeze函数将大小为1的维度消除 plt.imshow(out.squeeze(), cmap='gray')
plt.show()
# 查看卷积层的权重参数名字和数值 print(conv.weight)
# 参看卷积层的偏置参数名字和数值 print(conv.bias)
Paddlepaddle版本
import matplotlib.pyplot as plt
import numpy as np
import paddle
from paddle.nn import Conv2D
from paddle.nn.initializer import Assign
%matplotlib inline
# 创建初始化权重参数w w = np.array([1, 0, -1], dtype='float32')
# 将权重参数调整成维度为[cout, cin, kh, kw]的四维张量 w = w.reshape([1, 1, 1, 3])
# 创建卷积算子,设置输出通道数,卷积核大小,和初始化权重参数 # kernel_size = [1, 3]表示kh = 1, kw=3 # 创建卷积算子的时候,通过参数属性weight_attr指定参数初始化方式 # 这里的初始化方式时,从numpy.ndarray初始化卷积参数 conv = Conv2D(in_channels=1, out_channels=1, kernel_size=[1, 3],
weight_attr=paddle.ParamAttr(
initializer=Assign(value=w)))
# 创建输入图片,图片左边的像素点取值为1,右边的像素点取值为0 img = np.ones([50,50], dtype='float32')
img[:, 30:] = 0.
# 将图片形状调整为[N, C, H, W]的形式 x = img.reshape([1,1,50,50])
# 将numpy.ndarray转化成paddle中的tensor x = paddle.to_tensor(x)
# 使用卷积算子作用在输入图片上 y = conv(x)
# 将输出tensor转化为numpy.ndarray out = y.numpy()
f = plt.subplot(121)
f.set_title('input image', fontsize=15)
plt.imshow(img, cmap='gray')
f = plt.subplot(122)
f.set_title('output featuremap', fontsize=15)
# 卷积算子Conv2D输出数据形状为[N, C, H, W]形式 # 此处N, C=1,输出数据形状为[1, 1, H, W],是4维数组 # 但是画图函数plt.imshow画灰度图时,只接受2维数组 # 通过numpy.squeeze函数将大小为1的维度消除 plt.imshow(out.squeeze(), cmap='gray')
plt.show()
输出结果
总结
一、在学习过程中,自己发现了两个框架大同小异,最主要的发现是卷积核的定义二者是不同的:
1.Pytorch版本
torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)
2.Paddlepaddle版本
class paddle.nn.Conv2D (in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, padding_mode=’zeros’, weight_attr=None, bias_attr=None, data_format=’NCHW’)
飞桨的版本中可以直接在Conv2D从numpy.ndarray初始化卷积参数定义权重,而Pytorch需要在后续torch.nn.Parameter(w)转化成tensor形式提出。
二 、个人对transforms的to_tensor和torch的Tensor认识不够清晰,to_tensor()函数源码接受PIL Image或numpy.ndarray格式.