复试——多层神经网络

神经元与矩阵

神经元=w权重矩阵与x矩阵相乘+偏置矩阵

神经元串联加深层数

激活函数与非线性因素

如果没有激活函数，无论网络多么复杂，最后的输出都是输入的线性组合，而纯粹的线性组合不能解决更为复杂的问题。
激活函数是非线性的，引入激活函数，使神经网络可以逼近任何非线性函数。

激活函数最重要的特性：能求导

激活函数：sigmoid,relu

深度学习的训练过程

1.前向过程：模型从输入开始计算，一直到输出的过程。
2.梯度回传过程/反向传播：从结尾到开头传播梯度（对参数求导），得到loss,回传回去算每一步的梯度，从而实现参数的更新。

激活函数选取技巧：参考大佬
自己设置每一层的激活函数和学习率（超参数）——创新点

全连接网络：由一定数量的全连接层组成，每2个神经元两两连接。

多层感知机：超过2层的全连接网络
深度=很多的隐藏层
Alexnet 8层 错误率16.4%
VGG 19层 错误率7.3%
GoogleNet 22层 错误率6.7%
ResNet 152层 错误率3.57%——引入了残差连接
但并不是越深越好
维度：前一层的输出必须是下一层的输入

过拟合overfitting与欠拟合underfitting

欠拟合：模型太浅，参数量太少，离目标函数差远了
过拟合：模型太深，参数量太多，认为自己每个点都能拟合到，所得到的反而偏离了想要的目标函数——>导致界外预测的效果非常差

B站小甲鱼——基本Python操作