神经元(权重参数w)的个数就是权重参数w的个数 激活函数: 1.sigmod函数(已废弃)迭代次数到了一定值导数趋于0,出现梯度消失的问题,这样w-w0*w中的w0会趋于0使得w的值基本不变,这样的迭代没有意义。 2.ReLu函数(受欢迎):没有梯度消失的问题,求导简单,使得梯度下降更加有意义。 过拟合: 神经网络要泛化能力强才有用,主要看实际的用途,不是看训练的时候达到100%,图1出现过拟合,出现的爪太多,实际测试时会把绿色范围内的点包裹进去,图三和二泛化能力更强,效果更好。 但是神经元(权重参数)过多,就会产生过拟合,比如图三。 DROP-OUT(基本神经网络都采用来防止过拟合太严重): 图1中每个x都连接全部的w,就是全连接,模型容易出现过拟合,图二为解决方法:对L1只更新保留率E(40%)(随机更新其中的二个)(正向、反向传播),下次迭代改变E。。。加大迭代次数,达到宽松模型、降低过拟合的风险。 权重初始化 权重初始化中的 w 不能为0 (迭代没有作用)或 常数(1,2,3等),防止梯度下降朝一个方向更新,迭代太弱! b初始化一般为0 或其他常数(1,2,3等)