吴恩达 神经网络 深度学习

2.1 二分分类

pixel 像素

rgb 0-255表示 红绿蓝的程度

64*64的图像,输入就是64*64*3的向量

 

要利用reshape来避免产生(n,)的数组,A.resahpe(n,1)即可

 

3.*

tanh比sigmoid绝大多数表现好(平移是一样的)tanh‘(0)=1

 

激活函数必要性:否则就只是输入的线性组合,隐藏层失去意义

 

relu输入为0时概率很低,即使为0也可以人为定义一个导数值(即使导数不存在)梯度变为次梯度

 

10.神经网络的反向传播公式推导****

利用链导法则

 

11.初始化

逻辑回归可以初始化为0

但是神经网络不可以(W不可以,b可以初始化为0)

权重完全初始一样的话,所对应隐层神经元就会完全一样

(每一步输出都一样,反向传播之后的修改就一样)

初始化权重要小,因为用tanh或者sigmoid,输出大了之后反向传播梯度就会特别小,浅层用0.01就可以了,深层的需要使用其他的常数,但也要保证较小

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值