神经网络与深度学习课程总结【2】

记生️

已于 2023-03-26 23:59:02 修改

阅读量99

点赞数

文章标签：深度学习神经网络人工智能

于 2023-03-26 23:05:09 首次发布

本文链接：https://blog.csdn.net/qq_50826549/article/details/129707911

版权

文章目录

一、pytorch基本使用
二、卷积神经网络
参考

正在入门阶段，内容仅供参考。

一、pytorch基本使用

（1）使用tensor表示数据；
（2）使用Dataset、DaraLoader读取样本数据和标签；
（3）使用变量（Variable）存储神经网络权值等参数；
（4）使用计算图（computational graph）来表示计算任务；
（5）在代码运行过程中同时执行计算图。

二、卷积神经网络

1.卷积神经网络的优势

在图像识别工作中，由于图像的像素点多，若使用全连接神经网络会导致参数数量过多，计算难以收敛，同时可能进入局部极小值，也容易产生过拟合问题；对图像识别来说，每个像素和其周围像素的联系比较紧密，和离得远的像素的联系可能很小，像素之间的位置关系也包含信息。
卷积神经网络通过局部连接和权值共享解决全连接神经网络遇到的在图像识别中参数过多的问题：每个神经元不再和上一层的所有神经元相连，而之和一小部分神经元相连；一组连接可以共享一个权值，而不是每个连接都有不同的权值。此外，卷积神经网络通过卷积核利用了像素之间的位置信息。
因此卷积神经网络是更适合图像、语音内容识别任务的神经网络结构，几乎所有图像、语音识别领域的重要突破都是卷积神经网络取得的。

2.卷积与滤波

图像卷积，即二维卷积的定义为： $(f*g)(x,y)=\frac{1}{NM}\sum\limits_{i=0}^{N-1}\sum\limits_{j=0}^{M-1}f(i,j)g(x-i,y-j)$ ， $g$ 称为滤波器。
图像滤波的计算过程如图：
在这里插入图片描述

二维卷积中，可将滤波器想象为覆盖在图像上的一块“毛玻璃”，滤波器与图像上对应像素相乘，卷积结果放在滤波器的中间位置。在多通道卷积（如图像有RGB三层数据）中，可将滤波器对应想象为一个“立方体”，卷积计算过程如图。
在这里插入图片描述
图像卷积的结果仍为图像，但四周的像素点少了一圈，具体大小与卷积核的大小有关，解决方法为填充，即padding。常用的方法有zero padding, mirror padding, replicate padding。

3.卷积核

卷积核有多少参数以及参数的具体数值与输入图像的大小无关，极大地减小了参数数量。
不同的卷积核可以看做不同的滤波器，在不同的应用场景可以根据需要选择不同的卷积核，实现如边缘识别、图像锐化（高通滤波器）等不同的功能或特征提取。
若采用 $3 \times 3$ 卷积核，则一组卷积核中有9个参数，一层神经网络中可以采用多种滤波器，多层神经网络构成深度学习神经网络。

4.卷积神经网络的结构

一个卷积神经网络有若干卷积层、池化（pooling）层、全连接层组成。池化是一种下采样操作，池化操作有均值池化和最大池化，目前更常使用的方法是最大池化。可以通过不同的卷积核和不同的层构建不同的卷积神经网络，常用架构模式为N个卷积层叠加，然后（可选）叠加一个池化层，重复这个结构M次，最后叠加K个全连接层，一种卷积神经网络的结构如图。
在这里插入图片描述
全连接神经网络每层的神经元是按照一维排列的，排成“一条线”的样子，而卷积神经网络每层的神经元是按照三维排列的，也就是排成一个“长方体”的样子。一个图像在卷积神经网络的处理过程中，通道数量越来越多，图像的像素点越来越少。