吴恩达深度学习Course1-Week(1)(2)

吴恩达深度学习Course1-Week(1)(2)


一、影响神经网络的性能的因素

在这里插入图片描述

神经网络的性能与神经网络的规模有关,其次,还与训练集的大小有关。在训练集次数较少时,主要与训练集的大小有关;当训练集足够大时,主要与神经网络的结构规模有关。

二、逻辑回归(logistic regression)中的一些符号(Notation)规定

在这里插入图片描述

1、x表示样本,是nx x 1维度的向量
2、w是 m x 1维的向量
2、X表示训练集,nx是当个样本的维度,m表示样本的个数,X矩阵是nx x m大小的。
3、Y表示标签集,x(i)与y(i)一 一对应,Y矩阵是1 x m 维的

三、逻辑回归中的激活函数

在这里插入图片描述

1、常用激活函数有sigmod
2、ReLU
3、我的理解是:逻辑回归是一个二元分类问题,问题的结果只有0和1,需要用激活函数将预测的结果归一化到0和1之间,所以逻辑回归选用sigmod作为激活函数。

四、损失函数(loss function)与成本函数(cost function)

在这里插入图片描述

1、loss function 损失函数是用于描述单个样本的预测值与实际值之间的接近程度。
2、cost function 成本函数是用于描述整个训练集的预测值与实际值之间的接近程度。所以一般选用成本函数的不同导数来对连接权值进行更新(梯度下降法)

五、梯度下降法(Gradient Descent)

在这里插入图片描述

J(w,b)表示成本函数,梯度下降法的核心思想是从任意起始点开始,一直搜寻到成本函数值最小的点所对应的w,b
梯度下降法的w,b更新公式:w=w-adJ(w)/dw;b=b-adJ(w)/dw
【注】梯度下降法只适用于凹函数

六、前向传播(forward)与反向传播(backward)

以逻辑回归为例,简单来说:神经网络其实就是一个输入X到输出Y的映射函数;前向传播实际上是通过X确定Y的过程,正向运算,通过神经网络的结构一步一步计算最终得到Y的过程;反向传播实际上是求损失函数关于神经网络各层的导数的问题(计算相关导数),对损失函数求和取平均,从而确定成本函数的相关导数,用于跟新w,b的参数值。
在这里插入图片描述

七、梯度下降法的伪编程

在这里插入图片描述
在这里插入图片描述
1、定义模型结构(例如输入特征的数量)
2、初始化模型的参数
3、循环:
3.1 计算当前损失(正向传播)
3.2 计算当前梯度(反向传播)
3.3 更新参数(梯度下降)

1、首先对所有参变量进行0初始化
2、通过前向传播确定成本函数
3、通过反向传播确定成本函数的各阶导数
4、更新w,b
5、一次迭代完成

八、向量化(Vectorization)加快运算速度

在这里插入图片描述

该向量化,仅去除1个for loop

在这里插入图片描述

w是(m,1)维 X是(nx,m)维
该向量化去除了所有的for loop
写成向量形式来进行运算,大大提高运算速度。需要掌握

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

木心

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值