学习神经网络（一）_小白学神经网络-CSDN博客

本文链接：https://blog.csdn.net/qq_44053841/article/details/120946039

背景、卷积层、卷积核以及全连层基础简介

零基础理解卷积神经网络 - 知乎 (zhihu.com)

机器学习算法之——卷积神经网络(CNN)原理讲解 - 知乎 (zhihu.com)

一个卷积神经网络主要由以下5层组成：

数据输入层/ Input layer
卷积计算层/ CONV layer
ReLU激励层 / ReLU layer

①不要用sigmoid ( $\frac{1}{1+\exp (-x)}$ )！不要用sigmoid！不要用sigmoid！

② 首先试RELU(max{0,x})，因为快，但要小心点+

③ 如果2失效，请用Leaky ReLU或者Maxout

④ 某些情况下tanh倒是有不错的结果，但是很少

softmax

假设有一个数组V，Vi表示V中的第i个元素，那么这个元素的softmax值为:

$S_{i}=\frac{e^{i}}{\sum_{j} e^{j}}$

(27条消息) softmax详解_苦逼的程序猿-CSDN博客_softmax

详解softmax函数以及相关求导过程 - 知乎 (zhihu.com)

激活函数总结（持续更新） - 知乎 (zhihu.com)

池化层 / Pooling layer

池化层夹在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合。
简而言之，如果输入是图像的话，那么池化层的最主要作用就是压缩图像。

汇合操作

①特征不变性：汇合操作使模型更关注是否存在某些特征而不是特征的具体位置。

② 特征降维：降采样的作用，汇合结果中的一个元素对应于原输入数据的一个子区域。

③ 防止过拟合

全连接层 / FC layer

(5条消息) Pytorch.nn.Linear 解析（数学角度）_Medlen-CSDN博客

FCN详解

(15条消息) 四、全卷积网络FCN详细讲解（超级详细哦）_会哭泣的猫的博客-CSDN博客_fcn网络

简单的说，FCN与CNN的区别在于FCN把CNN最后的全连接层换成卷积层，其输出的是一张已经标记好的图，而不是一个概率值。

上采样

双线性插值上采样

反卷积上采样

反池化上采样

感受野

感受野及感受野中心（receptive field） - 知乎 (zhihu.com)

损失函数

Here, w denotes the collection of all weights in the network, b all the biases, n is the total number of training inputs, a is the vector of outputs from the network when x is input, and the sum is over all training inputs, x. Of course, the output a depends on x, w and b, but to keep the notation simple I haven't explicitly indicated this dependence. The notation ‖v‖ just denotes the usual length function for a vector v.

So the aim of our training algorithm will be to minimize the cost C(w,b)C(w,b) as a function of the weights and biases. In other words, we want to find a set of weights and biases which make the cost as small as possible.

梯度下降

易懂的神经网络理论到实践(1)：单个神经元+随机梯度下降学习逻辑与规则 - 知乎

有监督和无监督的区别

有监督学习与无监督学习的几大区别_Bolt1st-CSDN博客_有监督和无监督区别

常见的坑：