神经网络--假期---2020.2.10

第十一课：反向传播

 

主要任务：

• 更新权重参数

 下面举个例子：

• 要看x,y,z分别对f做的贡献
• 方法：求偏导、链式法则
• 目的：算Loss和W之间的关系

 

• 加法门单元：均等分配
• MAX门单元：给最大的
• 乘法门单元：互换

第十二课：神经网络构架

不需要专门定义一个类为神经元 

特点：

1. 层次结构
2. 非线性的结构

由很多层组成：input layer /hidden layer(n)/output layer

• 中间的为权重参数的计算的结果
• w1这些线为第一层的权重系数，左边连x右边连隐层.为3^4的矩阵
• 神经网络为这些参数的组合

 需要指明的：shape W1-n的的大小

加隐层的原因：加激活函数使神经网路有很强的效果

• 以下：max为激活函数
• 线性操作分类效果不是很强

Sigmoid激活函数

 

存在问题：当x变大之后，导数边很小，累乘之后趋于零，梯度消失

被淘汰了

reLU激活函数

解决

• 梯度消失
• 求导非常简单

神经元的个数会影响到模型的效果

太多的话会过拟合，在训练集很好，测试集不行。这是神经网络最大的问题