深度学习专项课程
文章平均质量分 89
coursera 2021.5月份吴恩达老师的深度学习专项课程
陈沧夜
人工智能领域创作者,华为云云享专家,百度飞桨技术专家
展开
-
神经网络与深度学习笔记(七)dropout 正则化等其他减小方差的方法
前言相对于 L2L_2L2 正则化的计算量较大,dropout正则化减少了计算量,不足的是不能直观体现出 ȷ(w,b)\jmath(w,b)ȷ(w,b) 随着迭代次数的变化情况。但这也不妨碍其在计算机视觉中的广泛使用。dropout 正则化原理对神经网络中每一层的每个节点取一定概率丢弃,进而使得神经网络一定程度上简化例如上图中,橙色的节点是丢弃的节点。橙色节点丢弃后,该神经网络就一定程度上简化了常见方法:反向随机失活反向随机失活在计算机视觉上用的多。使用反向随机失活时,神经网络最少取3层原创 2021-07-11 22:28:33 · 1256 阅读 · 8 评论 -
神经网络与深度学习笔记(六)L2正则化
文章目录前言最小化代价函数正则化在神经网络中的 L2L_2L2 正则化为什么 L2L_2L2 正则化可以防止过拟合,减少方差?前言前面提到过高方差问题主要的两种方式:获取更多的数据去训练。然而这种方式局限在于,数据并不是总是很容易获得的或者数据获取的代价很大。正则化。这就是这篇文章需要来讨论的主题。最小化代价函数正则化使用 L2L_2L2 正则化的最小化代价函数:min(w,b)ȷ(w,b)=1m∑i=1mȷ(y^(i),y(i))+λ2m∣w∣22min_{(w,b)} \j原创 2021-07-09 16:32:39 · 1254 阅读 · 0 评论 -
神经网络与深度学习笔记(番外)反向传播推导
文章目录回顾推导dz[l]dz^{[l]}dz[l]的证明dw[l]dw^{[l]}dw[l]的证明db[l]db^{[l]}db[l] 的证明da[l−1]da^{[l-1]}da[l−1] 的证明回顾我们设 n[l]n^{[l]}n[l] 为第 lll 层的单元数则它们的维数w[l],dw:(n[l],n[l−1])w^{[l]}, dw :(n^{[l]},n^{[l-1]})\\w[l],dw:(n[l],n[l−1])b[l],db:(n[l],1)b^{[l]}, db :(n^原创 2021-07-06 16:15:12 · 603 阅读 · 0 评论 -
神经网络与深度学习笔记(五)偏差与方差
文章目录前言什么是高偏差,高方差利用数据集误差判断拟合情况处理方式看模型在训练集上的表现看模型在开发集上的表现后记前言这篇文章的内容主要是偏差与方差的相关解释什么是高偏差,高方差在训练神经网络时,我们需要使用偏差与方差评估模型的准确度。但是,到底什么是高偏差?什么是高方差?我们举个靶心的例子。如果数据点集中于非靶心的地方,就是欠拟合。在这种情况下,模型属于高偏差如果数据点集中于靶心。拟合程度就刚刚好。如果数据集集中于靶心,但是扩散范围广,零零散散。在这种情况下,模型属于高方差。下面的例原创 2021-07-03 22:18:23 · 1129 阅读 · 3 评论 -
神经网络与深度学习笔记(四)训练集
文章目录前言设计前准备训练集,开发集,测试集上个时代的机器学习大数据时代数据集不匹配没有测试集的情况前言接下来的更新是第二课的内容了:Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization主要的内容是提升深度神经网络的效率设计前准备设计实现一个神经网络之前,我们需要考虑什么问题?layers 层数hidden units 隐藏单元learning rates 学习率ac原创 2021-07-02 23:27:40 · 1162 阅读 · 4 评论 -
神经网络与深度学习笔记(三)激活函数与参数初始化
激活函数为什么使用激活函数?线性激活函数一般用于输出。如果使用线性方程,而不使用激活函数,那么神经网络不管多少层,它的输出就仅仅是输入函数的线性变化ReLu又称为整流线性单元函数,表达式可以表示为:a=max(0,z)a = max(0,z)a=max(0,z)ReLU函数一般可以默认使用,不知道用啥可以使用ReLU试试先。ReLU函数在 z>0z>0z>0 时,导数为1z<0z<0z<0 时,导数为0leaky ReLU表达式可以表示为:a原创 2021-06-29 19:32:09 · 2103 阅读 · 4 评论 -
神经网络与深度学习笔记(二)正向传播与反向传播
正向传播正向传播计算的是神经网络的输出如上图,就是一次类似的正向传播的过程,正向传播计算最后的输出值。将J(a,b,c)=3(a+b∗c)J(a,b,c) = 3(a + b * c)J(a,b,c)=3(a+b∗c)这一个式子用uuu, vvv 来代替:u=b∗cu = b * cu=b∗cv=a+uv = a + uv=a+u$ j = 3 * v$最后求出jjj的值反向传播反向传播计算神经网络的梯度以及微分如上图是一个类似的反向传播的过程。对图中右侧的输出 j=3∗vj =原创 2021-06-15 23:22:41 · 1940 阅读 · 32 评论 -
神经网络与深度学习笔记(一)逻辑回归与梯度下降
前言完成coursera上吴恩达老师的深度学习专项课程第一课神经网络与深度学习已经有一段时间了。由于笔记中的各类公式就没有开始动笔总结并发布。好在最近也在很痛苦地学习LaTex,就企图与LaTex一起更新算了。假期快结束,后面时间其实也是很紧张的。==不该浪的,不该浪的值得一提的是,我非常不建议在非coursera平台学习吴恩达老师的课程。coursera的课程大多数都可以申请奖学金资助,只要你是学生基本都会通过审批。至于coursera的视频播放问题,在大多数情况下改电脑的host都可以解决,再加上原创 2021-06-07 12:56:39 · 958 阅读 · 74 评论 -
一文带你理解NumPy中的Broadcasting广播机制
一文让你理解NumPy中的Broadcasting广播机制前言在吴恩达老师的深度学习专项课程中,老师有提到NumPy中的广播机制,同时那一周的测验也有涉及到广播机制的题目。那么,到底什么是NumPy中的广播机制?官方文档接下来到了看官方文档的时间。Array Broadcasting in Numpy广播机制概述让我们探索numpy中一个更高级的概念,这个概念被称为广播。 广播展现了NumPy在算术运算期间是如何处理具有不同形状的数组的。 受到某些约束,较小的阵列将在较大的阵列上“广播”,以使原创 2021-05-28 10:09:25 · 1942 阅读 · 78 评论 -
神经网络与深度学习第二周测验 Neural Network Basics
1.What does a neuron compute?什么是神经元计算????A neuron computes the mean of all features before applying the output to an activation function在将输出应用于激活函数之前,神经元会计算所有特征的均值????A neuron computes a function g that scales the input x linearly (Wx + b)神经元计算一个原创 2021-05-24 19:27:53 · 1024 阅读 · 1 评论 -
神经网络与深度学习第一周测验 Introduction to Deep Learning
第一周测验 Introduction to Deep Learning1.What does the analogy “AI is the new electricity” refer to?AI是新的电力指的是? AI runs on computers and is thus powered by electricity, but it is letting computers do things not possible before.AI 在计算机上运行,由电力供电,但它让计算机以前不可能原创 2021-05-17 17:09:39 · 1116 阅读 · 2 评论