吴恩达深度学习L1W4作业1

最新推荐文章于 2024-04-21 19:50:19 发布
最新推荐文章于 2024-04-21 19:50:19 发布
阅读量496 收藏 1
点赞数
分类专栏： python 深度学习 吴恩达 文章标签： python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47798560/article/details/117444336
版权
python 同时被 3 个专栏收录
34 篇文章 5 订阅
订阅专栏
深度学习
6 篇文章 0 订阅
订阅专栏
吴恩达
4 篇文章 1 订阅
订阅专栏

知识点：深度神经网络的实现，初始化，正向传播，反向传播

在这里插入图片描述

1 安装包

numpy是Python科学计算的基本包。
matplotlib是在Python中常用的绘制图形的库。
dnn_utils为此笔记本提供了一些必要的函数。
testCases提供了一些测试用例来评估函数的正确性
np.random.seed（1）使所有随机函数调用保持一致。 这将有助于我们评估你的作业，请不要改变seed。

import numpy as np
import h5py
import matplotlib.pyplot as plt
from testCases_v2 import *
from dnn_utils_v2 import sigmoid, sigmoid_backward, relu, relu_backward

%matplotlib inline
plt.rcParams['figure.figsize'] = (5.0, 4.0) # set default size of plots
plt.rcParams['image.interpolation'] = 'nearest'
plt.rcParams['image.cmap'] = 'gray'

%load_ext autoreload
%autoreload 2

np.random.seed(1)

2 作业大纲

在这里插入图片描述
在这里插入图片描述**注意：**对于每个正向函数，都有一个对应的反向函数。 这也是为什么在正向传播模块的每一步都将一些值存储在缓存中的原因。缓存的值可用于计算梯度。 然后，在反向传导模块中，你将使用缓存的值来计算梯度。 此作业将指导说明如何执行这些步骤。

3 初始化

首先编写两个辅助函数用来初始化模型的参数。 第一个函数将用于初始化两层模型的参数。 第二个将把初始化过程推广到L层模型上。

3.1 2层神经网络

练习**：**创建并初始化2层神经网络的参数。

说明：
模型的结构为：LINEAR -> RELU -> LINEAR -> SIGMOID。
随机初始化权重矩阵。 确保准确的维度，使用np.random.randn（shape）* 0.01。
将偏差初始化为0。 使用np.zeros（shape）。

# 随机初始化两层神经网络
def initialize_parameters(n_x,n_h,n_y):

    w1 = np.random.randn(n_h,n_x) * 0.01
    b1 = np.zeros((n_h,1))

    w2 = np.random.rand(n_y,n_h) * 0.01
    b2 = np.zeros((n_y,1))

    parameters = {
        "w1":w1,
        "b1":b1,
        "w2":w2,
        "b2":b2
    }

    assert (w1.shape ==(n_h,n_x))
    assert (b1.shape == (n_h, 1))
    assert (w2.shape == (n_y, n_h))
    assert (b2.shape == (n_y, 1))

    return parameters

parameters = initialize_parameters(2,2,1)
print("w1 = " + str(parameters["w1"]))
print("b1 = " + str(parameters["b1"]))
print("w2 = " + str(parameters["w2"]))
print("b2 = " + str(parameters["b2"]))

3.2 L层神经网络

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

# 随机初始化L层
def initialize_parameters_deep(layer_dims):
    np.random.seed(3)
    L = len(layer_dims)
    parameters = {}
    for l in range(1,L):
        parameters['w'+str(l)] = np.random.randn(layer_dims[l],layer_dims[l-1])
        parameters['b'+str(l)] = np.zeros((layer_dims[l],1))

        assert (parameters['w'+str(l)].shape == (layer_dims[l],layer_dims[l-1] ))
        assert (parameters['b'+str(l)].shape == (layer_dims[l],1) )

    return parameters

layer_dims = [5,4,3]
parameters = initialize_parameters_deep(layer_dims)
print(parameters)

4 正向传播模块

4.1 线性正向

在这里插入图片描述

# 线性正向
def linear_forward(A,w,b):

    z = w.T @ A + b

    assert (z.shape == (w.shape[0],A.shape[1]))

    cache = (A,w,b)

    return z,cache

4.2 正向线性激活

在这里插入图片描述

# 正向线性激活
def linear_activation_forward(A_prev,w,b,activation):
    z,linear_cache = linear_forward(A_prev,w,b)

    if activation == 'sigmoid':
        A,activation_cache = sigmoid(z)

    elif activation == 'relu':
        A,activation_cache = relu(z)

    cache = (linear_cache,activation_cache)

    return A,cache


A_prev, W, b = linear_activation_forward_test_case()

A, linear_activation_cache = linear_activation_forward(A_prev, W, b, activation = "sigmoid")
print("With sigmoid: A = " + str(A))

A, linear_activation_cache = linear_activation_forward(A_prev, W, b, activation = "relu")
print("With ReLU: A = " + str(A))
#With sigmoid: A = [[0.96890023 0.11013289]]
#With ReLU: A = [[3.43896131 0.        ]]

**注意：**在深度学习中，"[LINEAR->ACTIVATION]"计算被视为神经网络中的单个层，而不是两个层。

4.3 L层模型

为了方便实现L层神经网络，你将需要一个函数来复制前一个函数（使用RELU的linear_activation_forward）L-1次，以及复制带有SIGMOID的linear_activation_forward。
在这里插入图片描述
在这里插入图片描述

# 定义 L 层模型
def L_model_forward(X,parameters):
    A_prev = X
    L = len(parameters) // 2
    caches = []


# 这里range(1,L)  因为只有前L-1层是做relu函数激活，最后一层用sigmoid
    for l in range(1,L):
        A,cache = linear_activation_forward(A_prev,parameters['W'+str(l)],parameters['b'+str(l)],activation='relu')
        caches.append(cache)

    AL,cache = linear_activation_forward(A,parameters['W'+str(L)],parameters['b'+str(L)],activation='sigmoid')
    caches.append(cache)

    assert (AL.shape == (1,X.shape[1]))

    return AL,caches

X, parameters = L_model_forward_test_case()
AL,caches = L_model_forward(X,parameters)
print('AL='+str(AL))
print('length of caches list ='+str(len(caches)))
#AL=[[0.17007265 0.2524272 ]]
#length of caches list =2

5 损失函数

现在，你将实现模型的正向和反向传播。 你需要计算损失，以检查模型是否在学习。
练习：使用以下公式计算交叉熵损失***J***
在这里插入图片描述

# 计算损失函数
def compute_cost(AL,Y):
    m = Y.shape[1]
    cost = - 1/m * np.sum((Y * np.log(AL)+(1-Y) * np.log(1-AL)),axis = 1,keepdims=True)
    cost = np.squeeze(cost)
    assert (cost.shape == ())

    return cost


Y, AL = compute_cost_test_case()
print("cost = " + str(compute_cost(AL, Y)))
# cost = 0.41493159961539694

6 反向传播模块

就像正向传播一样，你将实现辅助函数以进行反向传播。 请记住，反向传播用于计算损失函数相对于参数的梯度。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.1 线性反向

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
练习：使用上面的3个公式实现linear_backward（）。

# 綫性反向
def linear_backward(dz,cache):
    A_prev,w,b = cache
    m = A_prev.shape[1]

    dw = 1 / m * (dz @ A_prev.T)
    db = 1 / m * np.sum(dz,axis = 1,keepdims= True)
    dA_prev = w.T @ dz

    return dA_prev,dw,db


# Set up some test inputs
dZ, linear_cache = linear_backward_test_case()

dA_prev, dW, db = linear_backward(dZ, linear_cache)
print ("dA_prev = "+ str(dA_prev))
print ("dW = " + str(dW))
print ("db = " + str(db))

在这里插入图片描述

6.2 反向线性激活

在这里插入图片描述
在这里插入图片描述

6.3 反向L层模型

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

def  L_model_backward(AL,Y,caches,):

    grads = {}
    L = len(caches)
    # 索引从0开始，所以是L-1
    current_cache = caches[L-1]
    Y = Y.reshape(AL.shape)

    dAL = - np.divide(Y,AL) + np.divide(1-Y,1-AL)
    grads["dA"+str(L)],grads["dw"+str(L)],grads["db"+str(L)] = linear_activation_backward(dAL,current_cache,activation="sigmoid")

    for l in reversed(range(L-1)):
        current_cache = caches[l]
        grads["dA" + str(l+1)], grads["dw" + str(l+1)], grads["db" + str(l+1)] = linear_activation_backward(grads["dA"+str(l+2)],current_cache,activation="relu")

    return grads

AL, Y_assess, caches = L_model_backward_test_case()
grads = L_model_backward(AL, Y_assess, caches)
print ("dw1 = "+ str(grads["dw1"]))
print ("db1 = "+ str(grads["db1"]))
print ("dA1 = "+ str(grads["dA1"]))

在这里插入图片描述

6.4 更新参数

在这里插入图片描述

# 更新参数
def update_parameters(parameters,grads,learning_rate):
    L = len(parameters) // 2
    for l in range(L):
        parameters["W" + str(l + 1)] = parameters["W" + str(l + 1)] - learning_rate * grads["dW" + str(l + 1)]
        parameters["b" + str(l + 1)] = parameters["b" + str(l + 1)] - learning_rate * grads["db" + str(l + 1)]

    return parameters

parameters, grads = update_parameters_test_case()
parameters = update_parameters(parameters, grads, 0.1)

print ("W1 = "+ str(parameters["W1"]))
print ("b1 = "+ str(parameters["b1"]))
print ("W2 = "+ str(parameters["W2"]))
print ("b2 = "+ str(parameters["b2"]))
wssssang
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
吴恩达Coursera深度学习（1-4）编程练习
malele4th
02-26 4504
Class 1：神经网络和深度学习 Week 4：深层神经网络——编程练习 目录 Class 1神经网络和深度学习 Week 4深层神经网络编程练习 目录 1深层网络用到的函数 2初始化模型参数及反向传播 3两层L层神经网络模型 1深层网络用到的函数 import numpy as np import matplotlib.pyplot as plt im...
吴恩达深度学习学习笔记——C1W4——深层神经网络——作业2——使用深度神经网络进行图像分类
预见未来to50的专栏
01-26 363
这里主要梳理一下作业的主要内容和思路，完整作业文件可参考: https://github.com/pandenghuang/Andrew-Ng-Deep-Learning-notes/tree/master/assignments/C1W4 作业完整截图，参考本文结尾：作业完整截图。 使用深度神经网络进行图像分类 Deep Neural Network for Image Classification: Application When you finish this, you will h.
吴恩达深度学习 (week5,6)
最新发布
QuantumYou的博客
04-21 629
深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据在Python编程语言中， λ 是一个保留字段，编写代码时，我们删掉 α ，写成lambd，以免与Python中的保留字段冲突.L1和L2正则化是机器学习中用于避免过拟合的技术，它们通过在损失函数中加入一个正则项来实现。L1正则化，也称为Lasso回归，通过在损失函数中加入权重参数的绝对值之和来限制模型复杂度。这通常会导致一些权重参数变为零，从而实现特征选择的效果。
吴恩达深度学习课程第一章第四周编程作业
only my railgun
11-07 1883
文章目录声明一、任务描述二、编程实现1.数据处理2.初始化神经网络参数3.前向传播3.1线性前向传播3.2非线性+线性前向传播3.3 前向传播主控程序4.反向传播4.1线性反向传播4.2非线性+线性反向传播4.3反向传播主控函数5.损失函数6.预测函数三、测试总结 声明   本博客只是记录一下本人在深度学习过程中的学习笔记和编程经验，大部分代码是参考了【中文】【吴恩达课后编程作业】Course 2 - 改善深层神经网络 - 第一周作业(1&2&3)这篇博客，对其代码实现了复现，代码或文字表述
吴恩达的深度学习 编程作业（1-4）-Building Deep Neural Network for Image Classification
Xchangjiang的博客
03-11 222
import numpy as np import h5py import matplotlib.pyplot as plt from testCases_v3 import * from dnn_utils_v2 import sigmoid, sigmoid_backward, relu, relu_backward # plt.rcParams["figure.figsize"] = (...
【深度学习】吴恩达深度学习-Course1神经网络与深度学习-第四周深度神经网络的关键概念编程（上）——一步步建立深度神经网络
passer__jw767的博客
12-08 1154
视频链接：【中英字幕】吴恩达深度学习课程第一课 — 神经网络与深度学习 学习链接： 【中文】【吴恩达课后编程作业】Course 1 - 神经网络和深度学习 - 第四周作业(1&2) Building your Deep Neural Network: Step by Step Deep Neural Network for Image Classification: Application @TOC 〇、作业目标 在前面的作业中，我们已经训练了2层的神经网络（其中一层为隐藏层）。在这一篇内容中，
吴恩达 深度学习课后作业系列6
06-12
吴恩达 深度学习课后作业 深度学习系列课后作业系列1 ，week6课后作业原题 看完视频还是得多多练习。
吴恩达 深度学习系列课后作业系列12
06-12
吴恩达 深度学习课后作业 深度学习系列课后作业系列12 ，week12课后作业原题 看完视频还是得多多练习。
吴恩达深度学习系列课后作业系列7
06-12
吴恩达 深度学习课后作业 深度学习系列课后作业系列1 ，week7课后作业原题 看完视频还是得多多练习。
吴恩达深度学习作业.zip
08-17
吴恩达深度学习作业用到的planar_utils.py和testCases_cv2.py
吴恩达 深度学习课后作业系列 5
06-12
吴恩达 深度学习课后作业 深度学习系列课后作业系列1 ，week课后作业原题 看完视频还是得多多练习。
【超详细】【吴恩达课后作业】Course 1-神经网络与深度学习-第四周编程作业
qq_36417014的博客
06-16 2759
前言 最近在学习吴恩达的深度学习课程，关于《神经网络和深度学习》已经学习完，刚编写完最后一周的作业，这次任务主要是设计一个L层网络，每次网络的节点数也可以自己设置，现附上整个设计过程，供大家学习讨论！若有不对的地方，希望大家不吝赐教，谢谢！ 一、整个流程 1、处理数据 先下载数据：https://pan.baidu.com/s/1VhQeol_eSYLoANO...
吴恩达Deep Learning编程作业 Course1-神经网络和深度学习-第四周作业part1一步步建立你的深度神经网络
qq_34621022的博客
03-03 445
吴恩达Deep Learning编程作业 Course1-神经网络和深度学习-第三周作业 Building your Deep Neural Network: Step by Step 一步步建立你的深度神经网络 学习目标： 使用非线性激活函数，如Relu等，提升你的模型。 建立一个更深层的神经网络。 实现一个易于使用的神经网络类 注意符号的意思： 上标[lll]表示第lthl^{th}lt...
吴恩达 深度学习 第一课第四周 课后习题
Anakin6174的博客
07-27 622
这一周的习题是搭建了一个两层和多层的神经网络，做完这一课的作业，以后无论搭建什么结构的网络都会轻轻松松了。 第一次作业： 用到的工具包dnn_utils_v2： import numpy as np def sigmoid(Z): """ Implements the sigmoid activation in numpy Arguments: Z --...
【深度学习-吴恩达】L1-4 深层神经网络 作业
u011315681的博客
07-28 616
【深度学习-吴恩达】L1-4 深层神经网络 作业笔记
吴恩达2021年版深度学习作业(编程作业)第一章Week4深层神经网络 assigment4_2
Alex_Tlover的博客
08-29 97
当你完成了本编程任务，你就完成了第四周的最后一个编程任务，也是这一章节的最后一个编程任务。你将会使用在之前的编程任务中实现的函数来构建一个神经网络，并且将它应用到猫\非猫的分类中。希望你在精度方面能看到相对于之前实现的逻辑回归而言有所改善。本编程任务之后，你讲会学习到：构建并应用一个基于有监督学习的深层神经网络让我们开始吧！
NG深度学习第一门课作业3-1 构建深度神经网络做图像处理
SpringRolls的博客
08-14 466
逐步建立深层神经网络 欢迎来到你的第4周作业(第1部分，共2部分)！您之前已经训练了一个两层神经网络(只有一个隐藏层)。本周，你将建立一个深度神经网络，你想要多少层就有多少层！ 在这个部分中，您将实现构建深层神经网络所需的所有功能。 在下一个作业中，您将使用这些函数来构建用于图像分类的深层神经网络。 完成这项任务后，您将能够: 使用像ReLU这样的非线性单元来改进模型 建立一个更深的神经...
【机器学习】——纯Python建立BP模型
python_AI_fans的博客
10-12 731
参考：https://blog.csdn.net/michael_f2008/article/details/103715699 https://developer.aliyun.com/article/614411 import pandas as pd import numpy as np import datetime from sklearn.utils import shuffle # 1.初始化参数 def initialize_parameters(n_x, n_h, n_y):
BP神经网络（以西瓜为例）
Jing_JiaNan的博客
03-18 1047
【代码】BP神经网络（以西瓜为例）
csdn吴恩达深度学习课后作业何宽
12-14
csdn吴恩达深度学习课后作业何宽是指在吴恩达老师在CSDN进行的深度学习课程中，课后布置的作业题目以及作业要求的具体要求和指导。 吴恩达是一位在深度学习领域具有极高声望和影响力的科学家和教授。他的深度学习...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值