深度学习笔记（1）——基本概念

神经网络(neural network)

什么是神经网络

本质就是以函数来模拟大脑思考计算

层数

不将输入层看做标准层，不计入计算

激活函数(activation function)

常见的几个激活函数

tips:

• 在二元分类中：输出层常用sigmoid函数，隐藏层常用ReLU函数

求导

求导用于反向传播

• sigmoid: g’=g(1-g)

• tanh: g’=1-g²

• cost: g’=-y/a+(1-y)/(1-a)

损失函数(cost)

为什么要用这个损失函数在这里不赘述，大家可以自行去详细了解下

参数与超参数(parameter and hyper parameter)

按我的理解，超参数即一开始就需人为输入数值，且需要人为改变数值的参数。
参数即为数值会在循环时自己不断更新改变数值的参数

关于寻找参数的建议

tips:

• you should try lots of values to find the best parameter

• even though you have found the best hyper parameter, you also need to try once again every day

• a^l，z^l…… is not hyper parameter

正向传播(forward)

即按照激活函数来计算

反向传播(backward)

求导

即按照激活函数的倒数与原来的值来计算

更新参数