深度学习项目实战-2

一个看似非常复杂的神经网络，可以写成矩阵相乘的式子，归根结底是一个矩阵运算。

激活函数：最重要的特性是：能求导，如果没有激活函数，无论网络多么复杂，最后的输出都是输入的线性函数，而纯粹的线性组合并不能解决更复杂的问题。

常见的激活函数有sigmoid函数，relu函数。

全连接神经网络（FCNN）是一种最基础的多层神经网络，也称多层感知机（MLP），在全连接神经网络中，每个神经元都与前一层和后一层的所有神经元相连接（即全连接层），形成一个密集的连接结构。全连接神经网络能够学习输入数据的复杂特征，并进行分类、回归等任务。

过拟合与欠拟合

过拟合的原因：1、参数量过多，模型太深复杂度太高；2、样本选取有误，比如样本量太少无法反映大部分的值；3、样本噪音干扰过大

欠拟合的原因：1、模型复杂度过低；2、特征量过少

我们索要做的就是构建模型，和构建损失函数，即loss函数，交给深度神经网络，本质上是一个黑盒子，我们不需要关心具体是怎样进行的。通过梯度下降法对参数进行更新，不断让损失达到最小。