第一节 神经网络概述

 1.神经元与矩阵关系

2.若神经元全为串联起来的（即都为线性函数）会导致如下问题

3.激活函数特点（能求导）和常用的两个激活函数

4.激活函数位置

5.另一个角度理解激活函数（相当于非线性函数的组合来拟合）图中的即为用两个relu函数的线性组合来拟合仅用线性函数无法拟合的分段函数

6.所有参数可以统一为θ

7.深度学习的训练过程

如图分为三步

前向过程得到损失函数

梯度回传实现优化过程

8.如何优化的？

如图当前值减掉学习率乘以当前的梯度。

得到梯度时会用到链式求导

9.优化时用的是这个公式（任何的都能又这个得到）

10.过拟合和欠拟合

注意过拟合 （指拟合到了每一个点 ，可能是层数太多了导致，这种得到的并不光滑，不是我们想要的）

故层数过多不一定好

11.神经网络的缺点和优点