吴恩达AI机器学习-01神经网络与深度学习week3上-浅层神经网络

已于 2023-02-28 18:37:24 修改
阅读量714 收藏 1
点赞数 1
分类专栏： 机器学习 # 吴恩达课程 文章标签： 深度学习 机器学习 人工智能
于 2022-10-17 18:29:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57656758/article/details/127288091
版权

‼️博客为作者学习回顾知识点所用，并非商用，如有侵权，请联系作者删除‼️

目录

3.1神经网络概览   

3.2神经网络的表现形式

3.3计算神经网络的输出

3.4多样本向量化   

3.5向量化实现的解释

3.6激活函数

3.1神经网络概览   

使用上标[1]来表示与这些节点相关的量，也就是所谓的层；之后，我们使用上标[2]来表示与这个节点有关的量，这是神经网络的另一层；上标(i)表示第i个训练样本；

在这个神经网络中， 我们要进行多次运算， 反复计算z和a，求得损失函数。

3.2神经网络的表现形式

上图所示为单隐藏层。

3.3计算神经网络的输出

第一步计算出z；第二步计算出a；我们看下面的图，对隐藏层的第一个节点进行计算：把第一个节点分成左右两半部分，进行两次运算。

接下来对第二个节点进行计算（上图），确保节点书写遵循了上述讨论的规则，公式书写的规范会大大提高代码运行效率。

把上述四个等式进行向量化 ，我们通过堆叠来定义a，我们把那些激活值a_{1}^{[1]} 到 a_{4}^{[1]}  堆叠起来，得到向量a^{[1]} ，如红色部分所示；

当我们进行逻辑回归，去实现一个输出（预测一个结果）时，如上图左下角紫色公式所示，计算出两个式子的值；

当我们计算有一个隐藏层的神经网络时，通过右半部分四个运算去计算最终的输出，步骤：1.通过向量化运算，得出隐藏层a^{[1]} 里这四个逻辑回归的输出【注：这四个输出是下一层a^{[2]} 的输入】2.用a^{[1]}​​​​​​​ 的四个输出作为a^{[2]} 层的输入，继续计算；

3.4多样本向量化   

通过把不同的训练实例按列堆叠在一个矩阵里面，实现多样本向量化。 

for循环走过所有m个训练实例，我们定义矩阵X，是由训练实例按列堆叠组成的；拿来训练实例，把它们按列堆叠，是一个n_{x}乘以m​​​​​​​ 的矩阵，得到这个for循环的矢量化实现 ；我们从小写的x出发，把小写的x 们按列堆叠得到了大写的X矩阵，我们对z做同样的操作，也对a做同样的操作。

3.5向量化实现的解释

实现前向传播，堆叠，一行向量化操作，可以让我们同时处理m个样本。

3.6激活函数

3.7为什么需要非线性激活函数

3.8激活函数的导数

3.9神经网络的梯度下降

3.10反向传播的直觉

3.11随机初始化

3.12Lan Good fellow访谈

（于 2022-10-17 18:29:21 首次发布）

alwaysuzybai
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
吴恩达深度学习一：神经网络
weixin_42376458的博客
09-22 503
三种典型神经网络 standard NN : 传统神经网络 解决一般问题 卷积神经网络 convolutional NN : CNN 网络 适用于图像 循环神经网络 Recurrent NN 适用于一维时间序列 监督学习的数据 结构化数据 非结构数据 数据量对传统机器学习和深度学习的驱动力 lost函数和cost函数 cost函数是loss函数在全体样本上的一种集中体现 比如平均损失。 反向传播 更新参数 如果中间有倒数趋近于0 这个更新公式就很困难了 ...
吴恩达深度学习1-Week3课后作业-浅层神经网络
Apple_hzc的博客
10-12 522
一、Deeplearning-assignment 在本次作业的开始，针对一个非线性可分的数据集通过sklearn的内置函数来训练数据集上的逻辑回归分类器，可以看到逻辑回归的表现并不理想，准确度只有47%。 因此建立一个神经网络模型，该模型有一个隐藏层，每个隐藏层有四个节点。 神经网络的正向传播： 神经网络的反向传播： 反向传播是深度学习中最难的（最具数学意义的）部分。为了帮...
浅层机器学习和深度学习基础知识总结
aa123kk78011的专栏
02-01 1295
机器学习算法机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。"学习"的目的是"减熵"(减少不确定性) ※在信息论中，熵表示的是不确定性的量度机器学习大致等同于找到一个好的函数(function)/模型(model): y=f(x)机器学习的"六步走": 收集数据→准备数据→选择/建立模型→训练模型→测试模型→调节参数 机器学习...
浅层深度学习的概述
qq_45441438的博客
07-24 507
在未来的发展中，结合浅层与深层学习的优点，发展新的架构，如混合模型和自适应网络，可能会是一个重要的方向。通过对浅层深度学习的解析，我们可以认识到，在人工智能的广阔领域中，无论是浅层还是深层的学习方法都有其存在的价值与发展空间。1. **表征能力有限**：浅层网络缺乏学习复杂特征层次的能力，因此在处理高复杂度的任务时，表现无法与深层网络媲美。2. **易于理解与调试**：相较于复杂的深层网络，浅层网络的架构更为简单，便于研究人员和开发者理解和调试。浅层模型的训练速度显著更快，并可以在资源受限的环境下运行。
机器学习之深度学习简介
周兆熊的专栏
12-09 1820
一、深度学习概述 1.深度学习的发展 深度学习(Deep Learning)算法起源于人类对大脑神经元的模仿，生物在识别某些个体的时候，大脑内部是做了层层抽象的，这些抽象就像通过神经元把每种事物拆分成颗粒，然后通过对这些颗粒的理解来做出一些反应；这种抽象工作不是一蹴而就的，而是通过神经元的逐层抽象来实现的，这就构成了神经网络的一个基础架构，深度学习也继承了这种架构。 在仿生物脑神经的架构基础...
【神经网络深度学习】--常见损失函数
TU商的博客
10-25 1827
(2)一般的 f(x) 是预测值，在-1到1之间， y 是目标值(-1或1)。其含义是， f(x) 的值在-1和+1之间就可以了，并不鼓励 |f(x)|>1 ，即并不鼓励分类器过度自信，让某个正确分类的样本距离分割线超过1并不会有任何奖励，从而。因为sigmoid的性质，导致 σ′(x) 在 z 取大部分值时会很小（如下图标出来的两端，几乎接近于平坦），这样会使得 η(a−y)σ′(z) 很小，导致参数 w 和 b 更新非常慢。的本质就是衡量在某个参数下，整体的估计和真实的情况一样的概率，越大代表越相近。
吴恩达机器学习课后作业源码及笔记_机器学习_吴恩达_
10-01
吴恩达是世界知名的计算机科学家和人工智能专家，他在机器学习领域的贡献极其显著，他的在线课程深受全球学习者喜爱。这份名为“吴恩达机器学习课后作业源码及笔记”的压缩包文件，无疑是针对他开设的机器学习课程的...
吴恩达机器学习基础课程笔记
tjujackson的博客
03-06 800
吴恩达机器学习2022笔记
吴恩达 机器学习 每周总结官方版 week1-week10 适合打印复习，和课上的讲义不同，这个更精准一点。适合打印
03-29
吴恩达的机器学习课程是全球范围内广受欢迎的在线教育项目，由世界知名的人工智能专家吴恩达（Andrew Ng）教授主讲。这门课程涵盖了机器学习的基础到高级概念，旨在帮助学生深入理解并应用机器学习技术。提供的...
Week2-PA1_吴恩达深度学习第二周第一节_
10-02
在“吴恩达深度学习第二周第一节”这个课程中，我们将会深入探讨深度学习的核心概念和技术，这将为你的AI和机器学习之旅打下坚实的基础。吴恩达，作为世界知名的计算机科学家和人工智能专家，他的课程以其清晰易懂、...
吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记（1-3）-- 浅层神经网络
热门推荐
大树先生的博客
09-22 1万+
神经网络和深度学习 -------- 浅层神经网络
深度学习 Deep Learning简介 （二）：浅层学习（Shallow Learning）和深度学习（Deep Learning）
whiteinblue的专栏
12-16 1万+
主要参考文献：http://blog.csdn.net/zouxy09/article/details/8775360（从一到八）；http://www.csdn.net/article/2013-05-29/2815479  从1980年代末期以来，机器学习的发展大致经历了两次浪潮：浅层学习（Shallow Learning）和深度学习（Deep Learning）。需要指出是，机器学
机器学习总结
积流成河
08-16 6624
机器学习算法总结 机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率统计、非线性优化、信息论、人工智能、计算复杂性和控制论等多门学科。目的是用计算机模拟或实现人类的学习行为，随着经验积累自动提高性能。
Deep Learning and Shallow Learning
ithome
08-27 564
原文地址：http://freemind.pluskid.org/machine-learning/deep-learning-and-shallow-learning/ 由于 Deep Learning 现在如火如荼的势头，在各种领域逐渐占据 state-of-the-art 的地位，上个学期在一门课的 project 中见识过了 deep learning 的...
机器学习的两次浪潮——浅层学习和深度学习
中科院计算所培训中心
03-31 1万+
深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。
单层感知器介绍&程序
shanshuyue的博客
11-09 834
人体神经网络 单层感知器 举例 感知器学习规则 学习率 模型收敛条件 import numpy as np import matplotlib.pyplot as plt #输入数据 X = np.array([[1,3,3], [1,4,3], [1,1,1], [1,0,2]]) #标签 Y = np.array([[1], [1], [-1]
【扫盲】机器学习图像处理中的深层/浅层、局部/全局特征
邹小驴
06-17 4955
浅层特征：浅层网络提取的特征和输入比较近，蕴含更多的像素点的信息，主要为一些细粒度的信息，比如颜色、纹理、边缘、棱角信息。原理：浅层网络感受野较小，感受野重叠区域也较小，所以保证网络捕获更多细节深层特征：深层网络提取的特征离输出较近，蕴含更抽象的信息，即语义信息，主要为一些粗粒度的信息。原理：感受野增加，感受野之间重叠区域增加，图像信息进行压缩，获取的是图像整体性的一些信息。基于内容的图像检索(Content-based Image Retrieval, CBIR)方法利用从图像提取的特征来进行检索。常用的
如何理解深度学习的训练过程
最新发布
qq_61033357的博客
09-11 134
这是模型在训练过程中通过数据自动学习的参数，主要是卷积层的权重和偏置。比如卷积核内部的权重（Conv2d中的weights和bias）会随着训练数据的输入和误差的反馈不断更新。以yolov5为例子，训练的目的是把一组输入猫狗图像放到神经网络中，得到一个输出模型，这个模型下次可以直接用来识别哪个是猫，哪个是狗。这些参数是在反向传播过程中由优化器（如Adam、SGD等）自动调整的，目的是使模型更好地拟合训练数据。步长（stride）：决定卷积操作在输入特征图上的移动幅度，影响输出的特征图大小。
深度学习笔记：吴恩达课程解析-浅层与深层神经网络
"本资源为吴恩达深度学习课程的笔记，主要涵盖了浅层神经网络和深层神经网络的概念与实践。笔记详细讲解了双层神经网络的结构、前向传播和反向传播的过程，以及激活函数的选择和非线性激活函数的作用。" 在深度学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值