关注
分享
吴恩达视频笔记专栏，不管你看不看吴恩达的视频，但是只要跟着这个系列的笔记学习机器学习，一定可以小有所成；使用最浅俗易懂的语言讲解机器学习最重要的知识，配套专栏有：AI之路的专项问题，用于解决各类专项问题。
nine_mink
算法，代码，语言，软件
展开
-
B站吴恩达深度学习视频笔记（34）——为什么正则化可以防止过拟合
为什么正则化有利于预防过拟合呢？（Why regularization reduces overfitting?）为什么正则化有利于预防过拟合呢？为什么它可以减少方差问题？我们通过两个例子来直观体会一下。左图是高偏差，右图是高方差，中间是Just Right，这几张图我们在前面课程中看到过。现在我们来看下这个庞大的深度拟合神经网络。我知道这张图不够大，深度也不够，但你可以想象这是一个过...原创 2020-04-01 19:19:42 · 324 阅读 · 2 评论 -
B站吴恩达深度学习视频笔记（33）——正则化的解释
正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，...原创 2020-04-01 18:30:51 · 381 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（32）——神经网络训练的方差和偏差分析
这一节我们学习在神经网络学习训练时出现的结果进行分析，偏差和方差的表现和优化，仔细看好咯~偏差，方差（Bias /Variance）几乎所有机器学习从业人员都期望深刻理解偏差和方差，这两个概念易学难精，即使你自己认为已经理解了偏差和方差的基本概念，却总有一些意想不到的新东西出现。关于深度学习的误差问题，另一个趋势是对偏差和方差的权衡研究甚浅，你可能听说过这两个概念，但深度学习的误差很少权衡二...原创 2020-04-01 17:57:37 · 409 阅读 · 0 评论 -
B站吴恩达机器学习视频笔记（31）——网络训练验证测试数据集的组成介绍
从今天开始我们进入新的一个大方向了，改善深层神经网络：超参数调试、正则化以及优化，首先进入深度学习的一个新层面，先认识下在深度学习中的数据集的分类。之前可能大家已经了解了神经网络的组成的几个部分，那么我们将继续学习如何有效运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。训练，验证，测试集（Train / Dev / Test...原创 2020-04-01 15:16:57 · 387 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（30）——深度学习与大脑的区别
深度学习和大脑有什么关联性吗？回答是：关联不大。那么人们为什么会说深度学习和大脑相关呢？当你在实现一个神经网络的时候，那些公式是你在做的东西，你会做前向传播、反向传播、梯度下降法，其实很难表述这些公式具体做了什么，深度学习像大脑这样的类比其实是过度简化了我们的大脑具体在做什么，但因为这种形式很简洁，也能让普通人更愿意公开讨论，也方便新闻报道并且吸引大众眼球，但这个类比是非常不准确的。一个神...原创 2020-03-31 22:50:42 · 200 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（29）——为什么要使用深度神经网络？
为什么使用深层表示？（Why deep representations?）我们都知道深度神经网络能解决好多问题，其实并不需要很大的神经网络，但是得有深度，得有比较多的隐藏层，这是为什么呢？我们一起来看几个例子来帮助理解，为什么深度神经网络会很好用。首先，深度网络在计算什么？如果你在建一个人脸识别或是人脸检测系统，深度神经网络所做的事就是，当你输入一张脸部的照片，然后你可以把深度神经网络的...原创 2020-03-31 22:46:54 · 480 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（28）——深度神经网络说明以及向前传播向后传播实现
深层神经网络（Deep L-layer neural network）目前为止我们已经学习了只有一个单独隐藏层的神经网络的正向传播和反向传播，还有逻辑回归，并且你还学到了向量化，这在随机初始化权重时是很重要。目前所要做的是把这些理念集合起来，就可以执行你自己的深度神经网络。复习下前面21个笔记的内容：逻辑回归，结构如下图左边。一个隐藏层的神经网络，结构下图右边：注意，神经网络的层数是这...原创 2020-03-31 22:32:49 · 611 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（15-27）——卷积神经网络总结
卷积神经网络（也称作 ConvNets 或 CNN）是神经网络的一种，它在图像识别和分类等领域已被证明非常有效。 卷积神经网络除了为机器人和自动驾驶汽车的视觉助力之外，还可以成功识别人脸，物体和交通标志。如图1所示，卷积神经网络能够识别图片的场景并且提供相关标题（“足球运动员正在踢足球”），图2则是利用卷积神经网络识别日常物品、人类和动物的例子。最近，卷积神经网络在一些自然语言处理任务（如语句...原创 2020-03-26 18:00:57 · 1391 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（27）——为什么使用卷积
前言啊，不得不说吴恩达使用的例子非常难描述。所以我偷懒用Keras做了卷积的小例子。但是这节课要用到之前的例子了，所以我不得不把应该在上节课的例子再补上。哎，该来的还是要来，逃不掉的。卷积神经网络实例构建全卷积神经网络的构造模块我们已经掌握得差不多了，下面来看个例子。假设，有一张大小为32×32×3的输入图片，这是一张RGB模式的图片，你想做手写体数字识别。32×32×3的RGB图片中含有...原创 2020-03-26 16:46:32 · 431 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（25）——池化层（Pooling）
池化层除了卷积层，卷积网络也**经常使用池化层来缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性，**我们来看一下。先举一个池化层的例子，然后我们再讨论池化层的必要性。假如输入是一个4×4矩阵，用到的池化类型是最大池化（max pooling）。执行最大池化的树池是一个2×2矩阵。执行过程非常简单，把4×4的输入拆分成不同的区域，我把这个区域用不同颜色来标记。对于2×2的输出，输出的...原创 2020-03-26 16:07:49 · 923 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（24）——单层卷积网络
推荐阅读通俗理解卷积神经网络 单层卷积网络今天我们要讲的是如何构建卷积神经网络的卷积层，下面来看个例子。上节课，我们已经讲了如何通过两个过滤器卷积处理一个三维图像，并输出两个不同的4×4矩阵。假设使用第一个过滤器进行卷积，得到第一个4×4矩阵。使用第二个过滤器进行卷积得到另外一个4×4矩阵。最终各自形成一个卷积神经网络层，然后增加偏差，它是一个实数，通过Python的广播机制给这16...原创 2020-03-26 12:40:15 · 218 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（23）——三维卷积
前言其实相对于卷积灰度图来说，三维卷积更贴近于我们的实际情况，毕竟我们拍摄到的照片都是彩色照片，这样就涉及我们在一开始几篇笔记里讲的RGB。三维卷积才是卷积真正应用的地方之一。三维卷积在上面笔记中你已经知道如何对二维图像做卷积了，现在看看如何执行卷积不仅仅在二维图像上，而是三维立体上。我们从一个例子开始，假如说你不仅想检测灰度图像的特征，也想检测RGB彩色图像的特征。彩色图像如果是6×6×...原创 2020-03-26 12:25:22 · 408 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（22）——卷积步长讲解
卷积步长卷积中的步幅是另一个构建卷积神经网络的基本操作，让我向你展示一个例子。如果你想用3×3的过滤器卷积这个7×7的图像，和之前不同的是，我们把步幅设置成了2。你还和之前一样取左上方的3×3区域的元素的乘积，再加起来，最后结果为91。只是之前我们移动蓝框的步长是1，现在移动的步长是2，我们让过滤器跳过2个步长，注意一下左上角，这个点移动到其后两格的点，跳过了一个位置。然后你还是将每个元素...原创 2020-03-26 12:20:37 · 528 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（21）——Padding原理讲解
前言为了构建深度神经网络，你需要学会使用的一个基本的卷积操作就是padding，让我们来看看它是如何工作的。Padding我们在之前笔记中看到，如果你用一个3×3的过滤器卷积一个6×6的图像，你最后会得到一个4×4的输出，也就是一个4×4矩阵。那是因为你的3×3过滤器在6×6矩阵中，只可能有4×4种可能的位置。这背后的数学解释是，如果我们有一个n×n的图像，用f×f的过滤器做卷积，那么输出的...原创 2020-03-26 12:17:11 · 360 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（20）——更多关于卷积在边缘检测的方法
前言你已经见识到用卷积运算实现垂直边缘检测，在本笔记中，你将学习如何区分正边和负边，这实际就是由亮到暗与由暗到亮的区别，也就是边缘的过渡。你还能了解到其他类型的边缘检测以及如何去实现这些算法，而不要总想着去自己编写一个边缘检测程序，让我们开始吧。更多边缘检测的内容看这张图还是上一个笔记中的例子，这张6×6的图片，左边较亮，而右边较暗，将它与垂直边缘检测滤波器进行卷积，检测结果就显示在了右...原创 2020-03-26 12:12:24 · 356 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（19）——卷积网络的边缘检测
前言从本篇笔记我们正式开始学习卷积神经网络。卷积运算是卷积神经网络最基本的组成部分，使用边缘检测作为入门样例。在这个笔记中，你会看到卷积是如何进行运算的。在之前的笔记中，我说过神经网络的前几层是如何检测边缘的，然后，后面的层有可能检测到物体的部分区域，更靠后的一些层可能检测到完整的物体，这个例子中就是人脸。在这个视频中，你会看到如何在一张图片中进行边缘检测。边缘检测让我们举个例子，给了这...原创 2020-03-26 12:07:25 · 371 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（18）——计算机视觉
前言这是真正开讲卷积神经网络之前最后一篇作为铺垫的笔记了，计算机视觉与卷积神经网络密切相关。理解计算机视觉，才能理解为啥会出现卷积神经网路。计算机视觉计算机视觉是一个飞速发展的一个领域，这多亏了深度学习。深度学习与计算机视觉可以帮助汽车，查明周围的行人和汽车，并帮助汽车避开它们。还使得人脸识别技术变得更加效率和精准，你们即将能够体验到或早已体验过仅仅通过刷脸就能解锁手机或者门锁。当你解...原创 2020-03-26 11:59:18 · 395 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（17）——神经网络中的参数和超参数
前言这节课是补的，这两个概念很重要。卷积神经网络也是神经网络，也会按照神经网络的工作模式运转，照样有权重和超参数，照样有向前传播和向后传播。所以这篇笔记我们来了解一下什么是超参数，他和参数有什么区别。参数VS超参数想要你的深度神经网络起很好的效果，你还需要规划好你的参数以及超参数。什么是超参数？比如算法中的learning ratea（学习率）、iterations(梯度下降法循环的数量...原创 2020-03-26 11:53:32 · 291 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（16）——何时需要端到端的深度学习？
是否要使用端到端的深度学习假设你正在搭建一个机器学习系统，你要决定是否使用端对端方法，我们来看看端到端深度学习的一些优缺点，这样你就可以根据一些准则，判断你的应用程序是否有希望使用端到端方法。这里是应用端到端学习的一些好处，首先端到端学习真的只是让数据说话。所以如果你有足够多的(x,y)数据，那么不管从x到y最适合的函数映射是什么，如果你训练一个足够大的神经网络，希望这个神经网络能自己搞清...原创 2020-03-26 11:42:57 · 189 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（15）——端到端的深度学习
前言从这篇笔记开始，我们来学习卷积神经网络。不过在学习卷积之前，你需要理解端到端的深度学习。笔记会从各种实际例子出发，让大家更好地理解知识。同时，需要说明的一点是，由于卷积涉及神经网络的知识非常多，有很多模型都是基于卷积神经网络的。由于我优先按照学校老师讲知识的进度更新笔记，所以这些模型很可能不会涉及。可能要等到后面几篇笔记才会讲到很高级的卷积应用。为啥隔了这么长时间呢，因为学校老师突然讲卷积...原创 2020-03-26 11:35:49 · 372 阅读 · 0 评论 -
神经网络第二部分更新前言
由于学校老师的进度问题，今明两天会更新有关卷积神经网络的文章。不仅仅是简单了解卷积神经网络，我们从边缘检测出发，一点一点告诉你卷积神经网络的原理和工作模式，最后会有若干个有关卷积神经网络的例子。而浅层神经网络的知识我们等了解完卷积神经网络之后再来了解。...原创 2020-03-25 11:42:37 · 117 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（1-14）——实战3：识别猫图
前言还记得在前几节课中吴恩达老师讲述如何识别一张图片，以及电脑识别图片的原理吗？这篇笔记中就会用到之前笔记1-14除了机器学习框架以外几乎所有的知识，来完成入门阶段终极实战——识别猫图。我们即将使用逻辑回归搭建一个简单的单层神将网络，并实现猫图的识别。本篇中的单层神经网络在训练集与测试集上分别获得了 100% 与 70% 的正确率。数据导入使用的数据是著名的catvnoncat数据集，数...原创 2020-03-20 10:09:55 · 1399 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（14）——实战2：解决二分类问题
前言相比上一篇实战，在这一篇笔记里，你可以学到更多有关检验和模型优化的经验，对于初学者来说，这样的经验尤为宝贵。同样的，我们还是使用Keras框架。这次是数据集，我们选用声纳数据集。教程概述在看完本教程之后你将学会:如何加载和准备数据如何创建一个基线神经网络模型如何使用scikit-learn 和 k-fold 交叉验证评估Keras模型数据准备如何提升你的模型的性能如何调整网络...原创 2020-03-19 20:34:29 · 477 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（13）——实战1：动手搭建第一个神经网络
前言到此为止，神经网络基础就正式告一段落。坚持看到这篇文章的同学，恭喜你，你已经正式入门机器学习了。不过吴恩达老师视频不可能给我们现场演示写代码，所以课下实现老师所讲的内容就要靠我们自己了。下面我们自己来动手搭建第一个神经网络吧。教程概述这里不需要编写太多的代码,不过我们将一步步慢慢地告诉你怎么以后怎么创建自己的模型。教程将会涵盖以下步骤:加载数据定义模型编译模型训练模型评估模...原创 2020-03-19 19:54:20 · 348 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（12）——Python中的广播
前言没错，就是python的这个东西让向量化大大提高你代码的运行速度，python的广播机制。在这一篇笔记，我们会从一个例子开始。其实python的广播机制很简单。python中的广播这是一个不同食物(每100g)中不同营养成分的卡路里含量表格，表格为3行4列，列表示不同的食物种类，从左至右依次为苹果，牛肉，鸡蛋，土豆。行表示不同的营养成分，从上到下依次为碳水化合物，蛋白质，脂肪。那么，...原创 2020-03-19 16:13:38 · 293 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（11）——多样本梯度下降和向量化处理多批次数据
前言多样本梯度下降原理和单样本是一样的，只不过使用了代价函数——样本集中每个样本对应损失函数的平均值。而向量化对于深度学习处理数据速度的提升是非常大的，我们结合刚刚的多样本梯度下降讲一下向量化。m 个样本的梯度下降和向量化处理数据在之前的笔记中,已经讲述了如何计算导数，以及应用梯度下降在逻辑回归的一个训练样本上。现在我们想要把它应用在m个训练样本上。首先，让我们时刻记住有关于损失函数就J...原创 2020-03-19 16:05:52 · 274 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（10）——从计算图（Computational Graph）角度计算梯度下降
前言计算图是一个很重要的概念。在上一篇笔记里面，我们把公式写进小格子里面看作图的一个结点，通过图结点的前驱和后继完成对于参数的更新，以及数值的运算，这就是计算图的用法。为了更好地在神经网络中利用计算图做点事情，这篇笔记会告诉你如何使用计算图计算梯度下降（梯度下降光讲是啥了，还没说怎么算呢）计算图计算梯度下降本节我们讨论怎样通过计算偏导数来实现逻辑回归的梯度下降算法。它的关键点是几个重要公式...原创 2020-03-19 12:01:18 · 377 阅读 · 1 评论 -
B站吴恩达机器学习视频笔记（9）——神经网络中的向前传播和向后传播计算
前言理解神经网络中的向前传播和向后传播计算对于理解神经网络工作机制是很重要的。吴恩达老师的视频是通过列举具体的公式和数据，还原向前传播和向后传播计算过程，来让我们理解他们的。总之这个地方对于导数的知识是有要求的，但是由于我们老师已经开始讲数据挖掘预测了，我这博客更新的内容还处于初级阶段，所以导数的内容我不再赘述，需要补数学的同学去哔哩哔哩搜索宋浩老师，看有关导数的几节视频就可以了，其他的像贝叶...原创 2020-03-19 11:39:09 · 1230 阅读 · 0 评论 -
B站吴恩达机器学习视频笔记（8）——梯度下降
前言啊，这个吴恩达老师讲这个梯度下降的方式有点吓人，又掏公式又弄三维坐标系的，其实梯度下降没有看上去那么难，视频中讲的比较专业，虽然努努力还是可以理解的，但是相对于萌新来说不太友好，有的同学可能一看这么多公式就放弃了。不过不要紧嘛，我也是萌新嘛，我给你们解释你们不就懂的容易了，萌新何必为难萌新呢。不过我还是会把吴恩达老师讲的内容放到文章最后，你们先看简单的，再看比较难的，就会很开心。梯度下降零...原创 2020-03-16 20:50:24 · 431 阅读 · 1 评论 -
B站吴恩达深度学习视频笔记（7）——逻辑回归的代价函数
前言代价函数，损失函数，误差函数，这些函数名看起来意思十分相近，实际上他们的意思也十分相近，这篇博文就来介绍一下这几个函数，以及他们在机器学习中的重要作用。代价函数很重要！为什么需要代价函数为了训练逻辑回归模型的参数 w和参数b我们，需要一个代价函数，通过训练代价函数来得到参数w和参数b 。先看一下逻辑回归的输出函数：为了让模型通过学习调整参数，你需要给予一个m样本的训练集，这会让你在训...原创 2020-03-16 17:02:23 · 559 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（6）——逻辑回归
前言逻辑回归是机器学习非常重要的一种模型，在机器学习的某些场景下，甚至出现了“一个LR打天下”的情况，可以说这个模型是机器学习必须精通的模型。在这之前，你肯定接触过线性回归，但是逻辑回归和线性回归存在不小的差异，我需要先帮你弄清线性回归和逻辑回归是什么，他们有什么区别，再通过吴恩达老师的视频，详细地讲一下逻辑回归。什么是线性回归（Linear regression）首先我们要了解，什么是回归...原创 2020-03-16 00:02:17 · 331 阅读 · 0 评论 -
B站吴恩达深度学习视频笔记（5）——二分类问题
前言这几天在努力攻克神经网络，并想办法怎么把那些非常吓人的推到公式变成大家喜欢看的形式，用大家熟知的语言描述出来。很多人都是在神经网络这里看到一大坨公式然后知难而退。神经网络是机器学习的必经之路，是初学者们必须攻克的第一个难题，我会尽量用你们容易接受的语言和知识向你们描述神经网络中的一些最最基础也是最最重要的部分。现在我们来了解一下深度学习中比较简单的一类问题：二分类问题。二分类(Binary...原创 2020-03-15 23:10:29 · 712 阅读 · 0 评论 -
机器学习部分神经网络——更新前言
真正接触到神经网络之后发现，神经网络对于机器学习初学的朋友真的是第一块非常难啃但是必须要啃的硬骨头，很多关键性的概念和知识，思维模式，都包含其中，本人也在努力梳理和学习，想和我一起从萌新的视角入门神经网络，知道一些很基础但是很重要的模型和算法的同学，请点个关注，我会按照本人学习进度陆续更新通俗易懂的笔记博文。给你们一个参考，同时请精通机器学习的大佬多多指教。...原创 2020-03-14 22:29:20 · 184 阅读 · 0 评论 -
B站吴恩达深度学习视频学习笔记（4）——-为什么深度学习会兴起？
前言这节课主要讲述了当今机器学习的探索过程，从过程中我们是怎么样总结优化，使得机器学习一直在被完善和发展。有一些概念和想法对于今后的学习还是很重要的，可以让你知道自己为什么要这么做，为什么要加那个函数等等。为什么深度学习会兴起？(Why is Deep Learning taking off?)本节视频主要讲了推动深度学习变得如此热门的主要因素。包括数据规模、计算量及算法的创新。(3个重点概...原创 2020-03-13 00:16:44 · 231 阅读 · 0 评论 -
B站吴恩达深度学习视频学习笔记（3）——-神经网络如何实现监督学习？
前言刚开始几节课都在宏观地讲一些观念和Why，具体的做法可能要到后面才能讲到。不过这几节课都在补充机器学习很重要的词汇，并且去解释他们。这对于以后的学习是非常重要的。神经网络的监督学习(Supervised Learning with Neural Networks)（请注意文中粗体部分内容，划重点吶！）关于神经网络也有很多的种类，考虑到它们的使用效果，有些使用起来恰到好处，但事实表明，到...原创 2020-03-12 23:08:26 · 209 阅读 · 0 评论 -
B站吴恩达深度学习视频学习笔记（2）——-什么是神经网络（Neural Network）
前言这节课通过举例子的方式形象生动地介绍了什么是神经网络，以下内容基本为原视频翻译内容，内容十分生动详细，很好理解。什么是神经网络？(What is a Neural Network)我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢？在这个视频中，会讲解一些直观的基础知识。首先，让我们从一个房价预测的例子开始讲起。假设你有一...原创 2020-03-12 21:58:47 · 413 阅读 · 0 评论 -
B站吴恩达深度学习视频学习笔记（1）——深度学习引言
前言吴恩达的机器学习视频对于想系统学习机器学习的朋友来说，绝对是不二之选。在这里，我会结合机器学习前辈们的一些学习心得和讲解，以吴恩达的视频内容为基础，和大家分享交流机器学习的知识。我自己可能会添加一些代码或者例子。这个系列的博文在前辈们的观点的基础上添加了一些自己的理解，如果有大佬觉得有什么不合适的地方，还请多多指教。深度学习引言第一个视频主要讲了什么是深度学习，深度学习能做些什么事情。...原创 2020-03-12 20:56:09 · 434 阅读 · 0 评论