人工智能-作业4：CNN - 卷积

一、简单描述卷积、卷积核、多通道、特征图、特征选择概念。

卷积针对像素点的空间依赖性来对图像进行处理的一种技术

卷积核是一个二维矩阵，矩阵中的数值为对图像中与卷积核同样大小的子块像素点进行卷积计算时所采用的权重

多通道是输入一张三通道的图片，这时有多个卷积核进行卷积，并且每个卷积核都有三通道，分别对这张输入图片的三通道进行卷积操作。每个卷积核，分别输出三个通道，这三个通道进行求和，得到一个featuremap，有多少个卷积核，就有多少个featuremap。

特征图卷积滤波结果在卷积神经网络中的称呼

特征选择不同卷积核 可被用来刻画 不同选择性。

二、探究不同卷积核的作用，研究背后的原理。

（1）边缘检测

卷积核：



边缘检测的目的就是找到图像中亮度变化剧烈的像素点构成的集合，表现出来往往是轮廓。

（2）锐化

图像锐化也称边缘增强。锐化技术用于加强图像中的边界和细节信息。由于边界和细节信息对应频域中的高频部分，所以在频域中通常对图像进行高通滤波，在空间域则进行微分处理。
卷积核：

结果：

该点像素值有124经处理后为28，色度区别更加明显，达到锐化的效果。

（3）模糊

卷积核：

或者：

结果：


处理图像中与周围差异较大的点，将其像素值调整为与周围点像素值近似的值。目的是消除图像噪声和边缘。

三、编程实现

1.经典卷积核，实现灰度图的边缘检测、锐化、模糊。

import numpy as np
import torch
from torch import nn
from torch.autograd import Variable
import torch.nn.functional as F
from PIL import Image
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号 #有中文出现的情况，需要u'内容
# https://blog.csdn.net/weixin_40123108/article/details/83510592
file_path = '头像.jpg'
im = Image.open(file_path).convert('L')  # 读入一张灰度图的图片
im = np.array(im, dtype='float32')  # 将其转换为一个矩阵
print(im.shape[0], im.shape[1])
plt.imshow(im.astype('uint8'), cmap='gray')  # 可视化图片
plt.title('原图')
plt.show()
#灰度化
im = torch.from_numpy(im.reshape((1, 1, im.shape[0], im.shape[1])))
conv1 = nn.Conv2d(1, 1, 3, bias=False)  # 定义卷积

sobel_kernel = np.array([[0, -1, 0],
                         [-1, 5, -1],
                         [0, -1, 0]], dtype='float32')  # 定义轮廓检测算子
sobel_kernel = sobel_kernel.reshape((1, 1, 3, 3))  # 适配卷积的输入输出
conv1.weight.data = torch.from_numpy(sobel_kernel)  # 给卷积的 kernel 赋值

edge1 = conv1(Variable(im))  # 作用在图片上

x = edge1.data.squeeze().numpy()
print(x.shape)  # 输出大小

plt.imshow(x, cmap='gray')
plt.show()
plt.title('边缘检测')
plt.show()

(1）边缘检测

sobel_kernel = np.array([[-1, -1, -1],
                         [-1, 8, -1],
                         [-1, -1, -1]], dtype='float32')  # 定义轮廓检测算子

(2)锐化

sobel_kernel = np.array([[0, -1, 0],
                         [-1, 5, -1],
                         [0, -1, 0]], dtype='float32')  # 定义轮廓检测算子

（3）模糊

sobel_kernel = np.array([[1, 2, 1],
                         [2, 4, 2],
                         [1, 2, 1]], dtype='float32')  # 定义轮廓检测算子

sobel_kernel = np.array([[0.0625, 0.125, 0.0625],
                         [0.125, 0.25, 0.125],
                         [0.0625, 0.125, 0.0625]], dtype='float32')  # 定义轮廓检测算子

2.调整经典卷积核参数，测试并总结。

（1）边缘检测将中心权重降低，可以发现图像对边缘的检测效率降低

sobel_kernel = np.array([[-1, -1, -1],
                         [-1, 4, -1],
                         [-1, -1, -1]], dtype='float32')  # 定义轮廓检测算子

（2）锐化处理将周围的权重降低，使像素的锐化程度增加，更加凸显中央像素，

sobel_kernel = np.array([[0, -3, 0],
                         [-3, 5, -3],
                         [0, -3, 0]], dtype='float32')  # 定义轮廓检测算子

（3）模糊化处理增大周围像素的权重，模糊程度增加

sobel_kernel = np.array([[3, 4, 3],
                         [4, 4, 4],
                         [3, 4, 3]], dtype='float32')  # 定义轮廓检测算子

3.使用不同尺寸图片，测试并总结。

使用不同分辨率的图片，得到的边缘检测不同

4.探索更多类型卷积核。

（1）浮雕（emboss）

sobel_kernel = np.array([[-2, -1, 0],
                         [-1, 1, 1],
                         [0, 1, 2]], dtype='float32')  # 定义轮廓检测算子

（2）恒等卷积（Identity）

（3）left sobel

sobel_kernel = np.array([[1, 0, -1],
                         [2, 1, -2],
                         [1, 0, -1]], dtype='float32')  # 定义轮廓检测算子

（4）bottom sobel

sobel_kernel = np.array([[-1, -2, -1],
                         [0, 0, 0],
                         [1, 2, 1]], dtype='float32')  # 定义轮廓检测算子

（5）right sobel

sobel_kernel = np.array([[-1, 0, 1],
                         [-2, 0, 2],
                         [-1, 0, 1]], dtype='float32')  # 定义轮廓检测算子

(6)top sobel

sobel_kernel = np.array([[1, 2, 1],
                         [0, 0, 0],
                         [-1, -2, -1]], dtype='float32')  # 定义轮廓检测算子

5.尝试彩色图片边缘检测。

import numpy as np
import torch
from torch import nn
from torch.autograd import Variable
import torch.nn.functional as F
from PIL import Image
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号 #有中文出现的情况，需要u'内容
# https://blog.csdn.net/weixin_40123108/article/details/83510592
file_path = '头像.jpg'
im = Image.open(file_path)  # 读入一张的图片
im = np.array(im, dtype='float32')  # 将其转换为一个矩阵
print(im.shape[0], im.shape[1])
# plt.imshow(im.astype('uint8'), cmap='gray')  # 可视化图片
# plt.title('原图')
# plt.show()
# #灰度化
#im = torch.from_numpy(im.reshape((1, 1, im.shape[0], im.shape[1])))
im=np.transpose(im,(2,1,0))
im=im[np.newaxis,:]
conv1 = nn.Conv2d(3, 3, 3, bias=False)  # 定义卷积

sobel_kernel = np.array([[-1, -1, -1],
                         [-1, 8, -1],
                         [-1, -1, -1]], dtype='float32')/3  # 定义轮廓检测算子
sobel_kernel = sobel_kernel.reshape((1, 1, 3, 3))  # 适配卷积的输入输出
sobel_kernel=np.repeat(sobel_kernel,3,axis=1)#数组，次数，维度
sobel_kernel=np.repeat(sobel_kernel,3,axis=0)
conv1.weight.data = torch.from_numpy(sobel_kernel)  # 给卷积的 kernel 赋值

edge1 = conv1(Variable(torch.from_numpy(im)))  # 作用在图片上
x = edge1.data.squeeze().numpy()
print(x.shape)  # 输出大小
x=np.transpose(x,(2,1,0))
plt.imshow(x, cmap='gray')
plt.title('彩色')
plt.show()

需要去点灰度化，并进行一点点修改。

四、总结

总体前期没有难度，容易理解，主要就是对于卷积核的应用，对效果进行分析，到后期遇到瓶颈，尤其是彩色图片的边缘检测，需要去网上寻找参考，通过参考同学的参考写出来了。

五、参考

Pytorch学习(四)三通道图片CNN图片轮廓检测
Image Kernels
【2021-2022 春学期】人工智能-作业4：CNN - 卷积
人工智能 作业4：CNN - 卷积