\1. 简单的神经网络结构有哪些
轴突,树突,细胞体,突触
输入,隐含层,输出
2,激活函数有什么作用?
(激活函数使线性的结果非线性化。)激活函数在神经网络中的功能即通过对加权的输入进行非线性组合产生非线性决策边界
\2. 激活函数的种类有哪些?有什么作用?
前面每一层输入经过线性变换wx+b后还用到了sigmoid函数,在神经网络的结构中被称为传递函数或者激活函数。
除了sigmoid,还有tanh、relu等别的激活函数。激活函数使线性的结果非线性化。
当sigmoid 函数输入的值趋于正无穷或负无穷时,梯度会趋近零,从而发生梯度弥散现象。sigmoid函数的输出恒为正值,不是以零为中心的,这会导致权值更新时只能朝一个方向更新,从而影响收敛速度。当输入过大或者过小的时候,导数为0 值域为0-1 导数为fx(1-fx)
4.偏置项是什么?有什么作用
是常值添加到激活函数的输入(类似数学里y=ax+b中使直线不过原点的常数b)。即截距项,通常有+1值。
作用:神经元激活与否取决于某一阈值电平,即只有其输入综合超过阈值时,神经元才会被激活而发放脉冲.而偏置项相当于那个阈值电平
5.举一个例子,请你计算下面的前向传播得到的答案(就是输出层会的到什么?)
写具体的计算过程(手写在纸上拍照)