吴恩达深度学习课程学习笔记 第三周 浅层神经网络（中）

最新推荐文章于 2022-08-28 16:59:09 发布
最新推荐文章于 2022-08-28 16:59:09 发布
阅读量1k 收藏
点赞数 1
文章标签： 神经网络 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57302305/article/details/120181295
版权
本文是吴恩达深度学习课程的第三周学习笔记，主要讨论了向量化实现神经网络、激活函数的作用及类型，包括sigmoid、tanh、ReLU和Leaky ReLU，并解释了为何需要非线性激活函数。内容涵盖了激活函数的导数及其在梯度下降法中的影响，适合深度学习初学者参考。
摘要由CSDN通过智能技术生成

【3.5 向量化实现的解释】

对不同训练样向量化的神经网络，四个矩阵的行表示神经元个数，列表示样本数目m

 到目前为止，我们使用的激活函数只有\sigma函数

有很多种激活函数，sigma函数知识其中的一种选择

【3.6 激活函数】

tanh相当于\sigma平移，数据中心化，使数据平均值更接近0。

隐藏层更适合用tanh，输出层（如二分类问题：是为1，非为0）更适合用\sigma。

共同的缺点：z非常大或非常小的时候，函数图像的斜率很接近

最低0.47元/天 解锁文章
m0_mm
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【2】深度神经网络的损失函数/激活函数
jho9o5的博客
05-07 1053
1.平方差损失函数 && Sigmoid激活函数 1.1 Sigmoid函数        Sigmoid函数的表达式为：σ(z)=11+e−z \sigma(z)=\frac{1}{1+e^{-z}} σ(z)=1+e−z1​       对...
【深度学习】常用的激活函数
小马日记
11-07 3471
一、什么是激活函数 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数） 1、Sigmoid函数 （1）数学公式 f(x)=11+ex\displaystyle f( x) =\frac...
MATLAB应用过程中遇到sigma函数——引出协方差、相关系数等概念的理解
ZC496496的博客
04-06 8868
在聚类过程中需要生成人工数据集，代码及运行结果如下： mul=[0,0]; % 均值 S1=[.1 0;0 .1]; % 协方差 data1=mvnrnd(mul, S1, 300); % 产生高斯分布数据 % 第二组数据 mu2=[1.25 1.25]; S2=[.1 0;0 .1]; data2=mvnrnd(mu2,S2,300); % 第三组数据 mu3=[-1.25;1.25]; S3=[.1 0;0 .1]; data3=mvnrnd(mu3,S3,300); % 显示数据 plot(data1
图神经网络（CNN）三
qq_52380836的博客
08-28 461
简单介绍神经网路
高斯函数（Gaussian function）的详细分析
qq_33187050的博客
07-12 1万+
​论文中遇到很重要的一个元素就是高斯核函数，但是必须要分析出高斯函数的各种潜在属性，本文首先参考相关材料给出高斯核函数的基础，然后使用matlab自动保存不同参数下的高斯核函数的变化gif动图，同时分享出源代码，这样也便于后续的论文写作。...
吴恩达深度学习课程第一课 第3周 浅层神经网络 编程作业（中、英文版本）
01-19
在本节吴恩达老师的深度学习课程中，我们聚焦于第一课的主题——神经网络与深度学习，特别是第3周的内容，即浅层神经网络。这一周的编程作业旨在帮助学生深入理解并实践神经网络的基本构建块，无论是对于初学者还是...
深度学习吴恩达课程笔记(二)-浅层神经网络、深层神经网络
最新发布
10-25
【深度学习吴恩达课程笔记(二)-浅层神经网络、深层神经网络】涵盖了神经网络的基础知识，包括浅层神经网络的构建与反向传播，激活函数的选择，以及深层神经网络的优势。 首先，浅层神经网络的核心是双层神经网络。...
吴恩达深度学习课程笔记
02-06
吴恩达深度学习课程笔记
吴恩达老师的深度学习课程第4课第4周作业part1
04-20
在本节吴恩达老师的深度学习课程中，我们聚焦于人脸识别技术，这是计算机视觉领域的一个重要分支。在第四课的第四周，我们将深入探讨如何利用深度学习模型进行面部识别，这部分作业是“part1”，主要涉及到面部识别...
吴恩达深度学习课程第一课第二周datasets和lr_utils
11-30
在吴恩达的深度学习课程中，第一课的第二周主要涵盖了如何使用数据集（datasets）和学习率调整工具（lr_utils）来构建逻辑回归模型，这个模型采用神经网络的思维方式。在这里，我们将会深入探讨这两个关键概念以及...
高斯函数曲线及简单积分
zouguo1998的博客
05-30 1万+
高斯函数曲线及简单积分 一、高斯函数的分布曲线 高斯函数形式 其中a、b与c为实数常数，且a> 0。 在统计学与概率论中，高斯函数是**正态分布**的密度函数； 服从N（μ，σ^2），期望值μ决定了其位置，标准差σ决定了分布的幅度； μ=0，σ^2=1为标准正态分布。 3.高斯函数的曲线图 function [out] = gauss(mean,sigma) % gauss1 高斯函数曲线 % mean 均值， sigma方差 x=-10:0.0001:10; y=(1/((sqrt(
深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点
SmartLab307的博客
03-21 790
深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点 转自：数据派THU 激活函数是神经网络模型重要的组成部分，本文作者Sukanya Bag从激活函数的数学原理出发，详解了十种激活函数的优缺点。 激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。 在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标准的计算机芯片电路可以
什么是sign函数（符号函数）
MiaLove
06-16 6万+
sign函数（符号函数） 在logistic回归中，利用sigmoid函数实现，当x>0,y=1；当x<0时，y=0； σ(x)=11+ex\sigma(x) = \frac{1}{1+e^x}σ(x)=1+ex1​ tanh函数： tanh(x)=ex−e−xex+e−xtanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}} tanh(x)=ex+e−xex−e−...
Sigmoid函数
一只攻城狮的博客
12-04 5534
sigmoid是一个解决二分类问题的一种函数 其公式如下： σ(z)=11+e−z\sigma \left( z \right)=\frac{1}{1+{{e}^{-z}}}σ(z)=1+e−z1​ sigmoid函数又叫做logistic函数，机器学习中一个重要的预测模型逻辑回归（LR）就是基于Sigmoid函数实现的。在解决二分类问题时，通常需要对问题作出预测而sigmoid函数其取值范围在（...
深度学习笔记(三)：激活函数和损失函数
热门推荐
Multiangle's Notepad
09-17 12万+
这一部分来探讨下激活函数和损失函数。在之前的logistic和神经网络中，激活函数是sigmoid, 损失函数是平方函数。但是这并不是固定的。事实上，这两部分都有很多其他不错的选项，下面来一一讨论3. 激活函数和损失函数3.1 激活函数关于激活函数，首先要搞清楚的问题是，激活函数是什么，有什么用？不用激活函数可不可以？答案是不可以。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么
神经网络中经常使用的激活函数--sigmoid函数
学无止境
06-08 2万+
神经网络中经常使用的激活函数–sigmoid函数σ(x) sigmoid函数（σ） sigmoid函数原型 sigmoid函数是机器学习中的一个比较常用的函数，其函数原型如下图所示： sigmoid函数的函数曲线以及其导数曲线如下图所示： 通过上图可以看出在趋于正无穷或负无穷时，sigmoid函数都趋近平滑状态。当x趋近负无穷时，y趋近于0；趋近于正无穷时，y趋近于1。由于sigmoid函数输出范围为（0，1），所以二分类的概率常常用使用这个函数。 sigmoid函数求导 Sigmoid函数的导数是其本
Sigma Function(算数技巧)
北门的智慧
03-17 4507
题意：求1~n中因子和为奇数的个数。 分析：这道题就是一个技巧，所有的平方数的因子和为奇数，因为所有平方数的因子数为奇数个，如果因子是偶数，一定是偶数个，因为平方数中素因子分解后素因子2的幂为偶数，无论怎么组合，一定有偶数个能被2整除的数，剩下的就是奇数个奇数，和一定是奇数。此外，平方数乘以2也是因子数为奇数，因为这个数一定有偶数个因子，其中偶数的个数一定为奇数个，因为素因子2的幂一定是奇数否则
一些常见函数的有用性质
joymakleson的博客
07-24 362
一些常见函数的有用性质 维护相关 待补充。。。。 引用于 https://blog.csdn.net/joymakleson/article/details/107532547
深度学习笔记：吴恩达第三周浅层神经网络解析
“第三周：浅层神经网络.pdf，吴恩达深度学习与神经网络课程笔记，涵盖了神经网络的基础知识，包括概述、表示、输出计算、向量化、激活函数、非线性需求、导数、梯度下降以及随机初始化。” 在这一周的学习中，我们...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值