神经网络

神经元可以理解为W参数后面要连接的东西
神经网络
w1左边连接输入层, 右边连接隐层1,为3x4的矩阵
在这里插入图片描述
对于这个神经网络,他的得分函数为w3[w2(w1x1)]=out(还要加激活函数)
对于该模型需要指定w1,w2,w3的shape的大小,比如w1为3x4大小的。

那么为什么要存在隐层呢?
非线性!!单单的wx是一个线性的方程,而神经网络可以任意伸展。
在这里插入图片描述
max或者是其他的函数称为激活函数。为了给神经网络添加非线性,需要激活函数,经典的激活函数sigmoid
在这里插入图片描述
sigmoid是一个曲线的,可以将任意值压缩到0-1的区间。事实上在hidden layer1当中,不光是w1x1,还需要加激活函数,于是隐层hidden layer1当中就是sigmoid[w1x1],后面的层以此类推.

sigmoid激活函数的缺点
在这里插入图片描述
当层数比较深的时候,之前反向传播说到为了求w0对loss的影响,需要先求w4对loss的影响然后w3、w2、w1,然后每一次都要求偏导,对sigmoid函数来说,当数值比较大或比较小的时候,导数就会很小,累乘接近于0,而导致梯度消失w0没法更新,sigmoid已经被淘汰。

ReLU激活函数
在这里插入图片描述
过拟合问题
在这里插入图片描述
正则化惩罚项的大小的作用,惩罚大一点,泛化能力会大一点。

整体流程
在这里插入图片描述
数据预处理
在这里插入图片描述
为了将图像压缩到0-1(标准化)
1、先进行减mean操作,以0为中心
2、然后除以标准差

权重初始化
在这里插入图片描述
不能全为0或者均值,一般随机或高斯初始化。(DxH矩阵)
b也得初始化,一般0值初始化。

DROP-OUT
在这里插入图片描述
A模型叫做全连接,X到L1、L2都是全连接,当神经元个数多的时候,容易出现过拟合
B为DROP-OUT,每一层都随机(40%或者60%等)舍弃一些神经元,剩下的依旧全连接,下一次再舍弃另外的一些神经元,可以防止部分过拟合以及提高计算效率,可以用迭代次数弥补舍弃神经元的问题。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值