文章目录
神经网络(neural network)
什么是神经网络
本质就是以函数来模拟大脑思考计算
层数
不将输入层看做标准层,不计入计算
激活函数(activation function)
常见的几个激活函数
tips:
-
在二元分类中:输出层常用sigmoid函数,隐藏层常用ReLU函数
求导
求导用于反向传播
损失函数(cost)
为什么要用这个损失函数在这里不赘述,大家可以自行去详细了解下
参数与超参数(parameter and hyper parameter)
按我的理解,超参数即一开始就需人为输入数值,且需要人为改变数值的参数。
参数即为数值会在循环时自己不断更新改变数值的参数
关于寻找参数的建议
tips:
-
you should try lots of values to find the best parameter
-
even though you have found the best hyper parameter, you also need to try once again every day
-
al,zl…… is not hyper parameter
正向传播(forward)
即按照激活函数来计算
反向传播(backward)
求导
即按照激活函数的倒数与原来的值来计算