一、简单描述卷积、卷积核、多通道、特征图、特征选择概念。
卷积是分析数学中一种重要的运算。
简单定义:设:f(x),g(x)是R1上的两个可积函数,作积分:
卷积核就是图像处理时,给定输入图像,输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素,其中权值由一个函数定义,这个函数称为卷积核。
多通道 计算机与人类感官系统相对应的多个信息输入和输出通道。
特征图 由图像提取出的特征值组成的方图
特征选择 :从已经有的特征中选择若干有效的特征使图片最优
二、探究不同卷积核的作用,研究背后的原理。
卷积核就是二维滤波器矩阵
卷积核的作用:滤波/特征提取
卷积操作的主要⽬的就是对图像进⾏降维以及特征提取;
卷积核往往是⾏数和列数均为奇数的矩阵,这样中⼼较好定位;
卷积核元素的总和体现出输出的亮度,若元素总和为1,卷积后的图像与原图像亮度基本⼀致;若元素总和为0,则卷积后的图像基本
上是⿊⾊,其中较亮的部分往往就是提取出图像的某种特征;
滤波实际上就是Same模式的卷积操作,也就是说滤波后图像的⼤⼩不变,各种滤镜和照⽚的风格化就是使⽤不同的滤波器对图像进⾏
操作。因此卷积核、滤波器本质上都是⼀个东西;
⾼通滤波器(High Pass Filter, HPF)表⽰仅允许图像中⾼频部分(即图⽚中变化较剧烈的部分)通过,往往⽤于对图像进⾏锐化处
理、增强图像中物体边缘等。如Sobel算⼦、Prewitt算⼦、锐化滤波器等;
低通滤波器(Low Pass Filter, LPF)表⽰仅允许图像中低频部分(即图⽚中变化较平缓的部分)通过,往往⽤于对图像进⾏模糊/平
滑处理、消除噪点等。如⾼斯滤波器、均值滤波器等;
三、编程实现:
import torch
from torch import nn
from torch.autograd import Variable
from PIL import Image
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号 #有中文出现的情况,需要u'内容
file_path = '123.jpg'
im = Image.open(file_path).convert('L') # 读入一张灰度图的图片
im = np.array(im, dtype='float32') # 将其转换为一个矩阵
print(im.shape[0], im.shape[1])
plt.imshow(im.astype('uint8'), cmap='gray') # 可视化图片
plt.title('原图')
plt.show()
im = torch.from_numpy(im.reshape((1, 1, im.shape[0], im.shape[1])))
conv1 = nn.Conv2d(1, 1, 3, bias=False) # 定义卷积
sobel_kernel = np.array([[-1, -1, -1],
[-1, 8, -1],
[-1, -1, -1]], dtype='float32') # 定义轮廓检测算子
sobel_kernel = sobel_kernel.reshape((1, 1, 3, 3)) # 适配卷积的输入输出
conv1.weight.data = torch.from_numpy(sobel_kernel) # 给卷积的 kernel 赋值
edge1 = conv1(Variable(im)) # 作用在图片上
x = edge1.data.squeeze().numpy()
print(x.shape) # 输出大小
plt.imshow(x, cmap='gray')
plt.show()
在这里插入代码片
1.均值滤波和⾼斯滤波
2.锐化卷积核
3.经典卷积核,实现灰度图的边缘检测、锐化、模糊。
边缘检测
im = torch.from_numpy(im.reshape((1, 1, im.shape[0], im.shape[1])))
conv1 = nn.Conv2d(1, 1, 3, bias=False) # 定义卷积
sobel_kernel = np.array([[-1, -1, -1],
[-1, 8, -1],
[-1, -1, -1]], dtype='float32') # 定义轮廓检测算子
sobel_kernel = sobel_kernel.reshape((1, 1, 3, 3)) # 适配卷积的输入输出
conv1.weight.data = torch.from_numpy(sobel_kernel) # 给卷积的 kernel 赋值
修改参数后
锐化
sobel_kernel = np.array([[0, -1, 0],
[-1, 5, -1],
[0, -1, 0]], dtype='float32') # 定义轮廓检测算子
sobel_kernel = sobel_kernel.reshape((1, 1, 3, 3)) # 适配卷积的输入输出
sobel_kernel = np.array([[0, -2, 0],
[-6, 9, -9],
[0, -2, 0]], dtype='float32') # 定义轮廓检测算子
sobel_kernel = sobel_kernel.reshape((1, 1, 3, 3)) # 适配卷积的输入输出
模糊
【总结】本次课程的收获,编程实践的心得体会。
通过本次编程了解了一些有关CNN的知识,觉得挺神奇的可以通过各种各样的卷积核把一张图片展示的越来越逼真,总体感觉还可以,希望下次可以做得更好。
通过这次试验了解了各种卷积核的使用,不同卷积核可以对图片进行各种的处理,更加了解了CNN的知识,希望有时间在深入学习一下