![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
【吴恩达深度学习】
汪雯琦
广告平台商业化策略·Python·数据分析·数据挖掘·机器学习·人工智能
展开
-
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——随机初始化(Random+Initialization)
文章目录3.11 随机初始化(Random+Initialization)3.11 随机初始化(Random+Initialization)当你训练神经网络时,权重随机初始化是很重要的。对于逻辑回归,把权重初始化为0当然也是可以的。但是对于一个神经网络,如果你把权重或者参数都初始化为0,那么梯度下降将不会起作用。由此可以推导,如果你把权重都初始化为0,那么由于隐含单元开始计算同一个函数...原创 2020-03-24 23:40:48 · 684 阅读 · 2 评论 -
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——直观理解反向传播(Backpropagation intuition)
文章目录3.10(选修)直观理解反向传播(Backpropagation intuition)3.10(选修)直观理解反向传播(Backpropagation intuition)这个视频主要是推导反向传播。下图是逻辑回归的推导:回想一下逻辑回归的公式(参考公式3.2、公式3.5、公式3.6、公式3.15) 公式3.38:所以回想当时我们讨论逻辑回归的时候,我们有这个正向传播步骤,其中...原创 2020-03-24 23:38:34 · 574 阅读 · 0 评论 -
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——神经网络的梯度下降(Gradient descent for neural networks)
文章目录3.9 神经网络的梯度下降(Gradient descent for neural networks)3.9 神经网络的梯度下降(Gradient descent for neural networks)在这个视频中,我会给你实现反向传播或者说梯度下降算法的方程组,在下一个视频我们会介绍为什么这几个特定的方程是针对你的神经网络实现梯度下降的正确方程。loss function和之前...原创 2020-03-24 23:36:32 · 412 阅读 · 0 评论 -
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——激活函数的导数(Derivatives of activation functions)
文章目录3.8 激活函数的导数(Derivatives of activation functions)3.8 激活函数的导数(Derivatives of activation functions)在神经网络中使用反向传播的时候,你真的需要计算激活函数的斜率或者导数。针对以下四种激活,求其导数如下:1)sigmoid activation function图3.8.1其具体的求导如下...原创 2020-03-24 23:29:09 · 363 阅读 · 0 评论 -
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——为什么需要非线性激活函数?(why need a nonlinear activation function?)
文章目录3.7 为什么需要非线性激活函数?(why need a nonlinear activation function?)3.7 为什么需要非线性激活函数?(why need a nonlinear activation function?)为什么神经网络需要非线性激活函数?事实证明:要让你的神经网络能够计算出有趣的函数,你必须使用非线性激活函数,证明如下:如果你是用线性激活函数或者...原创 2020-03-24 23:26:42 · 526 阅读 · 0 评论 -
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——激活函数(Activation functions)
文章目录3.6 激活函数(Activation functions)3.6 激活函数(Activation functions)使用一个神经网络时,需要决定使用哪种激活函数用隐藏层上,哪种用在输出节点上。到目前为止,之前的视频只用过sigmoid激活函数,但是,有时其他的激活函数效果会更好。事实上,tanh函数是sigmoid的向下平移和伸缩后的结果。对它进行了变形后,穿过了(0,0)点,...原创 2020-03-24 23:24:43 · 382 阅读 · 0 评论 -
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——向量化实现的解释(Justification for vectorized implementation)
文章目录3.5 向量化实现的解释(Justification for vectorized implementation)3.5 向量化实现的解释(Justification for vectorized implementation)在上一个视频中,我们学习到如何将多个训练样本横向堆叠成一个矩阵X,然后就可以推导出神经网络中前向传播(forward propagation)部分的向量化实现。...原创 2020-03-24 23:23:00 · 288 阅读 · 0 评论 -
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——多样本向量化(Vectorizing across multiple examples)
文章目录3.4 多样本向量化(Vectorizing across multiple examples)3.4 多样本向量化(Vectorizing across multiple examples)在上一个视频,了解到如何针对于单一的训练样本,在神经网络上计算出预测值。在这个视频,将会了解到如何向量化多个训练样本,并计算出结果。该过程与你在逻辑回归中所做类似。逻辑回归是将各个训练样本组合...原创 2020-03-24 23:21:33 · 386 阅读 · 0 评论 -
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——计算一个神经网络的输出(Computing a Neural Network's output)
文章目录3.3 计算一个神经网络的输出(Computing a Neural Network's output)3.3 计算一个神经网络的输出(Computing a Neural Network’s output)在上一节的视频中,我们介绍只有一个隐藏层的神经网络的结构与符号表示。在这节的视频中让我们了解神经网络的输出究竟是如何计算出来的。首先,回顾下只有一个隐藏层的简单两层神经网络结构:...原创 2020-03-24 23:19:12 · 431 阅读 · 0 评论 -
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——神经网络的表示(Neural Network Representation)
文章目录3.2 神经网络的表示(Neural Network Representation)3.2 神经网络的表示(Neural Network Representation)先回顾一下我在上一个视频画几张神经网络的图片,在这次课中我们将讨论这些图片的具体含义,也就是我们画的这些神经网络到底代表什么。我们首先关注一个例子,本例中的神经网络只包含一个隐藏层(图3.2.1)。这是一张神经网络的图...原创 2020-03-24 23:17:01 · 402 阅读 · 0 评论 -
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——神经网络概述(Neural Network Overview)
文章目录3.1 神经网络概述(Neural Network Overview)3.1 神经网络概述(Neural Network Overview)本周你将学习如何实现一个神经网络。在我们深入学习具体技术之前,我希望快速的带你预览一下本周你将会学到的东西。如果这个视频中的某些细节你没有看懂你也不用担心,我们将在后面的几个视频中深入讨论技术细节。现在我们开始快速浏览一下如何实现神经网络。上周我...原创 2020-03-24 23:14:57 · 1339 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——logistic 损失函数的解释(Explanation of logistic
文章目录2.18 (选修)logistic 损失函数的解释(Explanation of logistic regression cost function)2.18 (选修)logistic 损失函数的解释(Explanation of logistic regression cost function)在前面的视频中,我们已经分析了逻辑回归的损失函数表达式,在这节选修视频中,我将给出一个简...原创 2020-03-24 23:12:50 · 232 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)—— Jupyter/iPython Notebooks快速入门(Quick tou
文章目录2.17 Jupyter/iPython Notebooks快速入门(Quick tour of Jupyter/iPython Notebooks)2.17 Jupyter/iPython Notebooks快速入门(Quick tour of Jupyter/iPython Notebooks)学到现在,你即将要开始处理你的第一个编程作业。但在那之前,让我快速地给你介绍一下在Cou...原创 2020-03-24 23:10:32 · 325 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——Python 中的广播、关于 python中numpy 向量的说明
文章目录2.15 Python 中的广播(Broadcasting in Python)2.16 关于 python _ numpy 向量的说明(A note on python or numpy vectors)2.15 Python 中的广播(Broadcasting in Python)这是一个不同食物(每100g)中不同营养成分的卡路里含量表格,表格为3行4列,列表示不同的食物种类,从...原创 2020-03-24 23:07:04 · 294 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——向量化 logistic 回归的梯度输出(Vectorizing Logisti
文章目录2.14 向量化 logistic 回归的梯度输出(Vectorizing Logistic Regression's Gradient)2.14 向量化 logistic 回归的梯度输出(Vectorizing Logistic Regression’s Gradient)如何向量化计算的同时,对整个训练集预测结果a,这是我们之前已经讨论过的内容。在本次视频中我们将学习如何向量化地计...原创 2020-03-24 23:03:53 · 174 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——向量化逻辑回归(Vectorizing Logistic Regression)
文章目录2.13 向量化逻辑回归(Vectorizing Logistic Regression)2.13 向量化逻辑回归(Vectorizing Logistic Regression)我们已经讨论过向量化是如何显著加速你的代码,在本次视频中我们将讨论如何实现逻辑回归的向量化计算。这样就能处理整个数据集,甚至不会用一个明确的for循环就能实现对于整个数据集梯度下降算法的优化。我对这项技术感到...原创 2020-03-24 23:01:56 · 421 阅读 · 0 评论 -
【吴恩达深度学习专栏】深度学习引言之吴恩达的话
第一周:深度学习引言(Introduction to Deep Learning)1.1 欢迎(Welcome)第一个视频主要讲了什么是深度学习,深度学习能做些什么事情。以下是吴恩达老师的原话:深度学习改变了传统互联网业务,例如如网络搜索和广告。但是深度学习同时也使得许多新产品和企业以很多方式帮助人们,从获得更好的健康关注。深度学习做的非常好的一个方面就是读取X光图像,到生活中的个性化教育...原创 2020-03-23 23:31:43 · 258 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——向量化(Vectorization)及更多例子
2.11 向量化(Vectorization)向量化是非常基础的去除代码中for循环的艺术,在深度学习安全领域、深度学习实践中,你会经常发现自己训练大数据集,因为深度学习算法处理大数据集效果很棒,所以你的代码运行速度非常重要,否则如果在大数据集上,你的代码可能花费很长时间去运行,你将要等待非常长的时间去得到结果。所以在深度学习领域,运行向量化是一个关键的技巧,让我们举个栗子说明什么是向量化。在...原创 2020-03-23 23:56:04 · 377 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——m 个样本的梯度下降(Gradient Descent on m Example
2.10 m 个样本的梯度下降(Gradient Descent on m Examples)在之前的视频中,你已经看到如何计算导数,以及应用梯度下降在逻辑回归的一个训练样本上。现在我们想要把它应用在m个训练样本上。但之前我们已经演示了如何计算这项,即之前幻灯中演示的如何对单个训练样本进行计算。所以你真正需要做的是计算这些微分,如我们在之前的训练样本上做的。并且求平均,这会给你全局梯度值,...原创 2020-03-23 23:54:13 · 279 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——逻辑回归中的梯度下降(Logistic Regression Gradient
2.9 逻辑回归中的梯度下降(Logistic Regression Gradient Descent)本节我们讨论怎样通过计算偏导数来实现逻辑回归的梯度下降算法。它的关键点是几个重要公式,其作用是用来实现逻辑回归中梯度下降算法。但是在本节视频中,我将使用计算图对梯度下降算法进行计算。我必须要承认的是,使用计算图来计算逻辑回归的梯度下降算法有点大材小用了。但是,我认为以这个例子作为开始来讲解,可...原创 2020-03-23 23:53:03 · 217 阅读 · 1 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——使用计算图求导数(Derivatives with a Computation
2.8 使用计算图求导数(Derivatives with a Computation Graph)在上一个视频中,我们看了一个例子使用流程计算图来计算函数J。现在我们看看流程图的描述,看看你如何利用它计算出函数J的导数。、么影响?现在我想介绍一个新的符号约定,当你编程实现反向传播时,通常会有一个最终输出值是你要关心的,最终的输出变量,你真正想要关心或者说优化的。在这种情况下最...原创 2020-03-23 23:51:32 · 309 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——计算图(Computation Graph)
2.7 计算图(Computation Graph)可以说,一个神经网络的计算,都是按照前向或反向传播过程组织的。首先我们计算出一个新的网络的输出(前向过程),紧接着进行一个反向传输操作。后者我们用来计算出对应的梯度或导数。计算图解释了为什么我们用这种方式组织这些计算过程。在这个视频中,我们将举一个例子说明计算图是什么。让我们举一个比逻辑回归更加简单的,或者说不那么正式的神经网络的例子。我们...原创 2020-03-23 23:48:52 · 357 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——导数(Derivatives)、更多的导数例子(More Derivative
2.5 导数(Derivatives)这个视频我主要是想帮你获得对微积分和导数直观的理解。或许你认为自从大学毕以后你再也没有接触微积分。这取决于你什么时候毕业,也许有一段时间了,如果你顾虑这点,请不要担心。为了高效应用神经网络和深度学习,你并不需要非常深入理解微积分。因此如果你观看这个视频或者以后的视频时心想:“哇哦,这些知识、这些运算对我来说很复杂。”我给你的建议是:坚持学习视频,最好下课后做...原创 2020-03-23 23:48:10 · 287 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——梯度下降法(Gradient Descent)
2.4 梯度下降法(Gradient Descent)梯度下降法可以做什么?可以用如图那个小红点来初始化参数w和b,也可以采用随机初始化的方法,对于逻辑回归几乎所有的初始化方法都有效,因为函数是凸函数,无论在哪里初始化,应该达到同一点或大致相同的点。我们以如图的小红点的坐标来初始化参数w和b。2. 朝最陡的下坡方向走一步,不断地迭代我们朝最陡的下坡方向走一步,如图,走到了如图中第...原创 2020-03-23 23:45:16 · 251 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——逻辑回归的代价函数(Logistic Regression Cost Funct
2.3 逻辑回归的代价函数(Logistic Regression Cost Function)在上个视频中,我们讲了逻辑回归模型,这个视频里,我们讲逻辑回归的代价函数(也翻译作成本函数)。为什么需要代价函数:...原创 2020-03-23 23:43:08 · 247 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——逻辑回归(Logistic Regression)
2.2 逻辑回归(Logistic Regression)在这个视频中,我们会重温逻辑回归学习算法,该算法适用于二分类问题,本节将主要介绍逻辑回归的Hypothesis Function(假设函数)。这时候我们得到的是一个关于输入x的线性函数,实际上这是你在做线性回归时所用到的,但是这对于二元分类问题来讲不是一个非常好的算法,因为你想让y表示实际值y等于1的机率的话,y 应该在0到1之间。这...原创 2020-03-23 23:41:51 · 258 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——二分类
第二周:神经网络的编程基础(Basics of Neural Network programming)2.1 二分类(Binary Classification)这周我们将学习神经网络的基础知识,其中需要注意的是,当实现一个神经网络的时候,我们需要知道一些非常重要的技术和技巧。例如有一个包含m个样本的训练集,你很可能习惯于用一个for循环来遍历训练集中的每个样本,但是当实现一个神经网络的时候,...原创 2020-03-23 23:40:33 · 313 阅读 · 0 评论 -
【吴恩达深度学习专栏】吴恩达的话和一些资源
1.5 关于这门课(About this Course)你的学习进度已经快接近这个专项课程的第一门课的第一周结尾了,首先,快速地介绍一下下周的学习内容:在第一个视频已经提到,这个专项有五门课程,目前正处于第一门课:神经网络与深度学习。在这门课中将教会你最重要的基础知识。当学习到第一门课末尾,你将学到如何建立一个深度神经网络并且使之奏效。下面是关于第一门课的一些细节,这门课有四周的学习资料:...原创 2020-03-23 23:36:09 · 226 阅读 · 0 评论 -
【吴恩达深度学习专栏】为什么深度学习会兴起?(Why is Deep Learning taking off?)
1.4 为什么深度学习会兴起?(Why is Deep Learning taking off?)本节视频主要讲了推动深度学习变得如此热门的主要因素。包括数据规模、计算量及算法的创新。深度学习和神经网络之前的基础技术理念已经存在大概几十年了,为什么它们现在才突然流行起来呢?本节课程主要讲述一些使得深度学习变得如此热门的主要驱动因素,这将会帮助你在你的组织机构内发现最好的时机来应用这些东西。在...原创 2020-03-23 23:35:00 · 326 阅读 · 0 评论 -
【吴恩达深度学习专栏】神经网络的监督学习(Supervised Learning with Neural Networks)
1.3 神经网络的监督学习(Supervised Learning with Neural Networks)关于神经网络也有很多的种类,考虑到它们的使用效果,有些使用起来恰到好处,但事实表明,到目前几乎所有由神经网络创造的经济价值,本质上都离不开一种叫做监督学习的机器学习类别,让我们举例看看。在监督学习中你有一些输入x,你想学习到一个函数来映射到一些输出y,比如我们之前提到的房价预测的例子,...原创 2020-03-23 23:34:03 · 1140 阅读 · 1 评论 -
【吴恩达深度学习专栏】什么是神经网络?(What is a Neural Network)
1.2 什么是神经网络?(What is a Neural Network)我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢?在这个视频中,我会讲解一些直观的基础知识。让我们从一个房价预测的例子开始讲起。假设你有一个数据集,它包含了六栋房子的信息。所以,你知道房屋的面积是多少平方英尺或者平方米,并且知道房屋价格。这时,你想要拟合...原创 2020-03-23 23:32:58 · 583 阅读 · 3 评论