激活函数
sigmoid函数
sigmoid函数的导数值小于等于0.25
tanh函数
relu
在输入小于0时
LR
问题实例
这里主要就是输出层的搭建,搭建几个输出层以及输出层的函数怎么选择的问题
二分类问题
就是sigmoid返回落在0和1之间,就是可以体现概率,依据它的输入
多分类问题
多标签问题
就是说这里和多分类的神经网络框架都是一样的,不一样的就是它的激活函数选择
线性回归问题
实例
隐藏层与输出层的输出函数都选择LR函数
就是说,在神经元的传递之间,用的都是权值和相加的线性方式,然后各个隐藏层及输出层神经元受到信号后产生一个怎样的信号,是由输出函数去决定的
这里要学习的是两个参数,一个是权重w,一个是位移偏差bisas,就是Y=wx+b
它的调整是自最里层到最外层的,就是先确定最里层的为常量,然后再逐次到最外层