深度之眼_吴恩达深度学习_打卡学习_逻辑回归

逻辑回归是一个二分类问题 (二分类与回归不同,所以代价函数也不一样,因为取值希望是0,1)

函数:a = \sigma (w^Tx + b)

其中:\sigma =\tfrac{1}{1+e^-z}z = w^Tx + b

损失函数:\zeta = - (ylog(a) + (1-y)log(1-a))

计算图

梯度下降法推导:

有3个公式,有3个导数

第1个:da = -\frac{y}{a} + \frac{1-y}{1-a}

第2个:dz = a - y,a在前向计算时记得保留,在反向传播时很有用

第3个:dw = (a - y) xdb = (a - y)

注意到,这里参数更新与线性回归一样,都是(a-y)x。

接下来是向量化:

w是一列矩阵,w = \begin{bmatrix} w_1 \\ w_2 \\ w_3 \end{bmatrix}

X是矩阵,X = [x^1, x^2, x^3, ...],每一列是一个样本

前向计算:

Z,A,dZ

可以用np.dot()

计算代价函数时,np.sum()加起来

反向计算:

dW = np.dot(dZ^T, X) / m,就可以直接计算了,把Z转置就可以了,这里真的是太聪明了。

db = np.sum(dZ) / m。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值