吴恩达深度学习(一)--神经网络的基础

 目录

一.如何判断图片

二.二分分类

三.损失函数(单个样本)

四.成本函数(整个训练集)

五.梯度下降法

1.使用计算图求导

2.logistic中的梯度下降法

3.m个样本的梯度下降


一.如何判断图片

要判断这个图片是否是猫,输入这张图片,计算机将它保存为三个独立矩阵,输出结果标签y(y为0和1,表示是否是猫,1为是0为不是)

如果图片像素为64*64,那么就有3个64*64的矩阵,它们会统一放进一个向量矩阵中,把像素值提取出来,放进一个特征向量x中,纵向维度就是64*64*3,及nx=64*64*3,其中(x,y)是一对单独的训练样本,训练集由m对训练样本组成

由上述图片可得,X是nx列,m行组成的矩阵,Y是1列,m行组成的矩阵

二.二分分类

y帽为预测值,是否为猫的概率(单个样本)

用sigmoid函数表示,同时有用了二分法

当z很大时,y帽无线趋于1,z很小时,y帽趋于0

三.损失函数(单个样本)

y帽是预测值,y是实际值,用来衡量实际值和预测值有多接近

为了提高准确率,要保证损失函数尽可能小

因为当预测值和实际值越相近,准确率越高

当y=1时,1-y为0,即L(y帽,y)=-logy帽,要y帽尽可能大,但是y帽最大不超过1,此时损失函数L会很小

当y=0时,即L(y帽,y)=-log(1-y帽),要y帽尽可能小,但是y帽最小不超过0,此时损失函数会很小

四.成本函数(整个训练集)

成本函数J要尽可能小

即在空间上找到一个最小值

五.梯度下降法

目的:寻找合适的w , b w, bw,b 使得成本函数 最小
迭代的过程中,不断的在各参数的偏导数方向上更新参数值, α 是学习率

1.使用计算图求导

从右向左计算,通过求导数运用链式法则进行

2.logistic中的梯度下降法

根据上述从右往左,运用链式法

上述为计算过程,结论dz=a-y

根据上述更新w1,w2,b的值

3.m个样本的梯度下降

  • 10
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值