吴恩达deeplearning.ai《神经网络和深度学习》-深层神经网络（四）

最新推荐文章于 2020-07-02 16:52:32 发布
最新推荐文章于 2020-07-02 16:52:32 发布
阅读量338 收藏
点赞数
分类专栏： 人工智能 # 神经网络 文章标签： 神经网络 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014776265/article/details/105742892
版权

为什么要使用深层神经网络

电路定理来解释：

如果使用多层神经网络，计算上面的x1 XOR x2 …，其算法的复杂度为O（logn）
使用单层神经网络，其算法的复杂度为O（2n）
在这里插入图片描述

搭建深层神经网络块

向前传播和向后传播如何计算
在这里插入图片描述
在这里插入图片描述

前向和反向传播

前向传播公式

在这里插入图片描述

反向传播公式

在这里插入图片描述
在这里插入图片描述

参数VS超参数

超参数能决定W，b的值。我们目前有很多的超参数，如：

learning rate
iterations
number of hidden layers
number of hidden units
choice of activation
momentum
mini batch size
regularization parameters
在这里插入图片描述

丰brother
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
吴恩达DeepLearning.ai中文版笔记.pdf
01-05
"吴恩达DeepLearning.ai中文版笔记.pdf" 本资源是吴恩达的机器学习课程中文笔记，由黄海广翻译整理，基于斯坦福大学2014年机器学习课程视频。该笔记涵盖了机器学习的基础知识、监督学习、无监督学习、深入学习等...
吴恩达Deeplearning.ai 课程课件
05-05
吴恩达的Deeplearning.ai课程是深度学习领域的知名在线教育项目，旨在为学习者提供深入理解神经网络基础知识的机会。这个课程体系由吴恩达教授亲自设计和讲解，他作为深度学习领域的先驱，拥有丰富的教学经验和实践...
吴恩达Coursera深度学习课程 deeplearning.ai (1-2) 神经网络基础--作业（可执行源码）
04-24
在本资源中，我们关注的是吴恩达在Coursera上的深度学习专项课程"deeplearning.ai"的第一部分，特别是第二周的神经网络基础内容。这个压缩包包含了可执行的源代码，使得学习者能够动手实践，加深对理论知识的理解。 ...
用纯Python实现循环神经网络RNN向前传播过程(吴恩达DeepLearning.ai作业)
12-22
Google TensorFlow程序员...吴恩达deepLearning.ai循环神经网络RNN学习笔记(理论篇) 我们将实现以下结构的RNN，在这个例子中 Tx = Ty。 向量表示以及它的维度 Input with nx number of units 对单个输入样本，x(i) 
吴恩达Coursera深度学习课程 deeplearning.ai (1-1) 深度学习概论--作业
04-24
吴恩达，作为世界知名的人工智能专家，他在Coursera上开设的"deeplearning.ai"深度学习课程是许多学生和专业人士入门深度学习的首选。本课程的第一部分，即"深度学习概论"，旨在为学员构建坚实的理论基础，并通过...
分位数回归（Quantile Regression）代码解析
丰brother的博客
07-02 7676
实验代码 本文采用python sklearn库中，作为quantile regression的示例代码。以下为详细解析： import numpy as np import matplotlib.pyplot as plt from sklearn.ensemble import GradientBoostingRegressor %matplotlib inline np.random.seed(1) #设置随机数生成的种子 def f(x): """The function to pre
正负样本不均衡
丰brother的博客
05-05 2808
样本不均衡 类别不均衡是指在分类学习算法中，不同类别样本的比例相差悬殊，它会对算法的学习过程造成重大的干扰。比如在一个二分类的问题上，有1000个样本，其中5个正样本，995个负样本，在这种情况下，算法只需将所有的样本预测为负样本，那么它的精度也可以达到99.5%，虽然结果的精度很高，但它依然没有价值，因为这样的学习算法不能预测出正样本。这里我们可以知道不均衡问题会导致样本较少那一类的高错分率，即...
吴恩达《Machine Learning》-Octave编程教学与作业提交（五）
丰brother的博客
06-14 2019
1.%为注释 >> 1 == 2 % false ans = 0 2.~= 为不等于号 >> 1~=2 ans = 1 3.&&逻辑与 >> 1&&0 ans = 0 4.||或运算 >> 1||0 ans = 1 5.抑或运算 >> xor(1,0) ans = 1 6.分号关闭提示 7.提取...
吴恩达《Machine Learning》-概念（一）
丰brother的博客
06-04 1542
入坑吴恩达大佬的机器学习课程。纯英文教学和作业还有编程作业还是很挑战的，希望早日结课拿证。 机器学习定义 T是此次机器学习的任务 测试题： “A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its perfor...
吴恩达《Machine Learning》-Overfitting过拟合解决（七）
丰brother的博客
06-16 1187
Overfitting数据过拟合 当我们有很多特征，我们的模型拟合训练数据非常好，但是对于新的预测数据，缺乏泛化能力。 Underfit数据欠拟合 对于训练数据的拟合能力过于弱 逻辑回归分类情况 练习题： 选择（C），过拟合能够很好地拟合训练数据。但是对于新的数据预测能力差，没有泛化能力 解决过拟合问题 1.减少特征的数量 2.使用正则化 Regularization正则化为了解决过拟...
吴恩达deeplearning.ai《卷积神经网络》-深度卷积网络：实例探究（二）
丰brother的博客
06-01 1001
为什么要进行实例探究 ResNet（Residual Network）残差网络，深度有152层 inception Network 经典网络 LeNet-5当时没有采用padding，故图像的尺寸会越来越小。 LeNet-5启发我们现代的网络结构：多个卷积层后，跟着池化层。或多个卷积层，跟着池化层，最后跟着几个全连接层。 此外LetNet-5在池化层后，加入了非线性函数。本例中，池化层后加入了sigmoid函数 AlexNet中的卷积操作使用了padding 其参数个数大大增加。相对于LeNet-5的6
吴恩达《Machine Learning》-Support Vector Machines支持向量机（十二）
丰brother的博客
07-16 999
在逻辑回归中 假如真实值y=1，我们想要预测值接近于1，那么在逻辑回归中也就是θT*x远大于0 图像中，横轴为z也就是θT*x，纵轴为损失函数。这也证明了左图，当θT*x越大时损失函数越小。（我们想要预测值接近于1，那么在逻辑回归中也就是θT*x远大于0） 假如y=1时，后面（1-y）log（1-hθ（x））为0。画出图像如左面所示。其中蓝色线，为支持向量机算法y=1时的曲线。 1.支持向量...
吴恩达《Machine Learning》-machine-learning-ex4神经网络学习作业（四）
丰brother的博客
06-26 888
nnCostFunction.m 对于神经网络我们需要计算其损失函数值J(θ)与grad梯度。 1.前向传播计算损失函数值J(θ) 首先计算hθ（x）=a（3） 公式如下： 加入正则项的损失函数公式（注意程序中为向量表达，此处为数值表达）： 2.反向传播计算梯度grad 公式中使用了g’(z(2))，故应先实现sigmod梯度值函数sigmoidGradient(z)。 function [...
吴恩达《Machine Learning》-cost function损失函数（二）
丰brother的博客
06-04 789
问题：如何选择参数θi？ m代表样本数量 θ表示 参数 机器学习主要就是学习函数中的参数 比如一次函数 不同的参数 会产生不同的函数 目的： 找到一组θ0，θ1参数使 图中函数的线 尽可能多的拟合到更多的数据点。故也就是使图中线上的函数值hθ(x) 与 数据点的值 y 之间的距离最小。 为了防止hθ(x) - y 产生的正负值相加问题。采用平方差，都转换为正数。之后将m个样本的差值求和，除以...
吴恩达《Machine Learning》-Unsupervised Learning无监督学习（十三）
丰brother的博客
07-22 606
监督学习 非监督学习 在无监督学习中，我们面对的是一组无标记的训练数据。数据之间不具有任何关联的标记。所以我们需要在数据点中，求出数据的分布结构。其中一种算法就是聚类算法（Clustering Algorithm），用来分析把数据分成每一组。 练习题： 选择（A，B，C） D.聚类算法不是唯一的非监督学习算法 k均值聚类算法（k-means clustering algorithm） ...
吴恩达《Machine Learning》-machine-learning-ex3多分类问题与神经网络作业（三）
丰brother的博客
06-18 600
lrCostFunction.m function [J, grad] = lrCostFunction(theta, X, y, lambda) %LRCOSTFUNCTION Compute cost and gradient for logistic regression with %regularization % J = LRCOSTFUNCTION(theta, X, y, la...
吴恩达《Machine Learning》-Logistic Regression逻辑回归（六）
丰brother的博客
06-15 577
分类问题 选择 哪类是正例，哪类是负例，是随机的。不影响。 为什么不用线性回归做分类问题（不使用） 使用线性回归，将所有大于0.5的预测映射为1，将所有小于0.5的预测映射为0。 先使用线性回归匹配数据，之后需要找到门限值，假设例子中门限值为hθ(x)=0.5。 把正负例子都投影到x轴。其中大于0.5的都为正例，小于0.5的都为负例。 当有极端数据时，使用线性回归匹配数据。会导致回归线更偏...
吴恩达deeplearning.ai《卷积神经网络》-目标检测（三）
丰brother的博客
06-05 568
目标定位 image classification图像分类，解决识别出图像中是否是汽车 classification with localization图像分类并定位，识别出图像中是否有汽车，并且用方框圈出来位置 detection目标检测，图像中有多个车辆或行人等事物，同时用方框圈出来其位置 为了实现图像分类并定位，我们要求神经网络的输出，不仅有softmax的分类结果，还要输出识别结果的位置信息，形成bounding box（bx，by，bh，bw）。bx，by为横纵坐标，bh为图像框高度，bw为图像
吴恩达《Machine Learning》-gradient descent 梯度下降（三）
丰brother的博客
06-05 552
在实际中，我们有n个参数θ0，θ1，θ2```````θn 在此我们以两个参数举例，最小化J(θ0,θ1) 算法： 我们以θ0=0,θ1=0开始， 保持θ0，θ1参数改变，然后查看J(θ0,θ1)。 当J(θ0,θ1)为最小的时候 即为结束 从图中点出发，假设你身处在山顶上，即为寻找当前最快下降的方向下山。 下降一个位置后，再次寻找当前最快下降的方向下山。 最后抵达了局部最优点(低点) 另一个位...
吴恩达deeplearning.aipdf
最新发布
12-27
吴恩达deeplearning.aipdf是一本由著名的人工智能专家吴恩达所撰写的关于深度学习的书籍。这本书系统地介绍了深度学习的基本概念、原理和应用，并结合了大量的实例和案例，让读者能够更加深入地理解和掌握深度学习...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值