多层神经网络

多层神经网络

本节介绍更复杂的函数

例如：
图中每个圆都代表一个线性函数，举例第一个绿圆为y=w₁x₁+w₂x₂+w₃x₃+b。

一个黄圈圈y就是一个神经元，也就是一条线性函数

• 神经元与矩阵
  
  最后一步的转置，是为了求出数值y。
  所以，神经网络可以演化成矩阵运算。

激活函数

实现预测函数的拐弯

• 另一个角度理解拟合函数和激活函数
  红色为真实函数，没有线性函数可以拟合该函数，故需要激活函数进行拟合
  
• 以下为激活函数的原理与相关知识。
  
  

注意，粗体r为矩阵，r=b+wx。
所有的权重w和偏置b都为函数的**参数θ**。

激活函数能求导：目前，我们所做的工作都是求y=wx+b中的w和b以及loss，通过多层函数映射后的预测值要与真值求差并对w和b求导，从而进行函数优化，所以要求函数必须可以求导。rule函数中虽然0点不可导，但是深度学习中一般上不会取0点

最终，我们通过层层参数θ，获得预测值。下一步进行函数优化。

深度学习的训练过程

loss逐层先后传递进行求导，即梯度回传，也称反向传播。

• FC(Fully Connected)：全连接层
• Fully Connected Network：全连接网络
• Neuron：神经元
• Neuron Network：神经网络
• 多层感知机：超过两层的全连接网络
  注意：深度学习神经网络并不是层数越多越好，因为中途会遇到瓶颈，要想更好，需要进行别的方面的创新
  
• overfitting：过拟合。 underfitting：欠拟合。
  

other

不同模型需要不同版本的conda和torch，注意下载的版本。