GAKKI_Husband的博客

激活函数（Activation Function）是在神经网络中负责将神经元的输入映射到输出端的函数。激活函数将非线性特性引入到神经网络中。如下图所示，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。引入非线性函数作为激活函数之后，深层神经网络才有意义，可以逼近任意函数。

池化操作(Pooling)是CNN中非常常见的一种操作，Pooling层是模仿人的视觉系统对数据进行降维，池化操作通常也叫做子采样(Subsampling)或降采样(Downsampling)，在构建卷积神经网络时，往往会用在卷积层之后，通过池化来降低卷积层输出的特征维度，有效减少网络参数的同时还可以防止过拟合现象。主要功能有以下几点：抑制噪声，降低信息冗余。提升模型的尺度不变性、旋转不变形。降低模型计算量。防止过拟合

如果从形象的方式理解卷积的意义，即为进行一次特征“浓缩”，用另一个意思来讲，就是把它抽象化。最后经过很多次的抽象化，你会将原始的矩阵变成一个 1 维乘 1 维的矩阵，这就是一个数字（变成了可以让分类器处理的概率数字，有些像降维作用的意思）。在PyTorch官网中，详细介绍了常用的卷积操作函数：nn.Conv1d、nn.Conv2d、nn.Conv3d等，其中Conv1d针对一维的向量，Conv2d针对二维的向量，Conv3d针对三维的向量。

加载数据集，转换成tensor类型# 创建网络Flatten(),return x# 定义计算loss# 设置优化器result_loss = loss(outputs, targets) # 计算数据集经过神经网络后的输出和真实数据输出之间的误差optim.zero_grad() # 梯度清零————要把网络模型当中每一个 调节 参数梯度 调为0，参数清零result_loss.backward() # 反向传播求解梯度————调用存损失函数的反向传播，求出每个节点的梯度，

在本文中总结了DataLoader的使用方法，并通过读取CIFAR10中的数据，借助Tensorboard的展示各种参数的功能，能为后续神经网络的训练奠定基础，同时也能更好的理解pytorch。

粗浅地理解，transforms.py可以看作一个工具箱，我们将图片作为输入，放入Transforms这个工具中，并将图像转换为其他类型的输出，以用于深度学习的工作。首先引入torchvision库中的transforms类：通过PIL库中的image类，调用image.open()函数，对于文件进行读入：可以观察到，通过open()函数读入的文件类型为JpegImageFile类型，模式是RGB，并且大小为3648*2736。

TensorBoard 是一组用于数据可视化的工具。它包含在流行的开源机器学习库 Tensorflow 中。TensorBoard 的主要功能包括：可视化模型的网络架构跟踪模型指标，如损失和准确性等检查机器学习工作流程中权重、偏差和其他组件的直方图显示非表格数据，包括图像、文本和音频将高维嵌入投影到低维空间TensorBoard算是包含在 TensorFlow中的一个子服务。TensorFlow 库是一个专门为机器学习应用程序设计的开源库。