- 博客(50)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 B站吴恩达深度学习视频笔记（30）——深度学习与大脑的区别
深度学习和大脑有什么关联性吗？回答是：关联不大。那么人们为什么会说深度学习和大脑相关呢？当你在实现一个神经网络的时候，那些公式是你在做的东西，你会做前向传播、反向传播、梯度下降法，其实很难表述这些公式具体做了什么，深度学习像大脑这样的类比其实是过度简化了我们的大脑具体在做什么，但因为这种形式很简洁，也能让普通人更愿意公开讨论，也方便新闻报道并且吸引大众眼球，但这个类比是非常不准确的。一个神...
2020-03-31 22:50:42
227
原创 B站吴恩达深度学习视频笔记（29）——为什么要使用深度神经网络？
为什么使用深层表示？（Why deep representations?）我们都知道深度神经网络能解决好多问题，其实并不需要很大的神经网络，但是得有深度，得有比较多的隐藏层，这是为什么呢？我们一起来看几个例子来帮助理解，为什么深度神经网络会很好用。首先，深度网络在计算什么？如果你在建一个人脸识别或是人脸检测系统，深度神经网络所做的事就是，当你输入一张脸部的照片，然后你可以把深度神经网络的...
2020-03-31 22:46:54
491
原创 B站吴恩达深度学习视频笔记（28）——深度神经网络说明以及向前传播向后传播实现
深层神经网络（Deep L-layer neural network）目前为止我们已经学习了只有一个单独隐藏层的神经网络的正向传播和反向传播，还有逻辑回归，并且你还学到了向量化，这在随机初始化权重时是很重要。目前所要做的是把这些理念集合起来，就可以执行你自己的深度神经网络。复习下前面21个笔记的内容：逻辑回归，结构如下图左边。一个隐藏层的神经网络，结构下图右边：注意，神经网络的层数是这...
2020-03-31 22:32:49
640
原创 神经网络中的隐藏层
问题神经网络中隐层有确切的含义吗？还是说神经网络的内部结构只能是黑盒，我们无从得知自己训练的每一个隐层节点权重的确切含义呢。一层隐层网络就是一层特征层次，每一个神经元可以类似看作一个特征属性。先解释一层隐层网络就是一层特征层次这一点，有一点拗口。这在传统的神经网络中还不是很明显，在CNN中尤为明显。要明白这一点，首先得理解感受野。感受野是指CNN卷积核在卷积过程中关注的区域，比如第一层5×...
2020-03-31 22:22:49
15420
2
原创 手动实现用L2正则化防止过拟合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/liangyihuai/article/details/78811664在神经网络中，正则化的作用是防止过拟合，本文将结合一个实例来讲解神经网络中的L2正则化，并手动（不使用框架）实现出来。先来看代码运行结果：增加L2正则化之前...
2020-03-26 20:04:49
1166
1
原创 神经网络的权重初始化为什么要随机
在神经网络中，我们知道输入层的节点个数在就是输入数据个特征（feature）个数，在隐藏层，节点的个数也代表着数据在经过处理之后新”提取“出来的数据特征（feature），一个隐藏层的节点个数越多，意味着这一层所提取的新特征越多。用下面这个图片说明上图中输入层的有两个节点，表示只有两个特征输入神经网络中，经过第一个隐藏层处理之后，变成了四个新特征（因为隐藏层有四个节点），最后再对这四个新特征处...
2020-03-26 19:54:04
1646
1
原创 [比较具体]机器学习中的激活函数
前言之前我发过一个通俗易懂的激活函数讲解，现在对于那一篇讲激活函数的博文，我再做一个补充。这篇博文讲激活函数更加具体，对于如何使用激活函数，以及如何实现激活函数，都有很大的帮助。激活函数使用一个神经网络时，需要决定使用哪种激活函数用隐藏层上，哪种用在输出节点上。到目前为止，之前的笔记中只用过sigmoid激活函数，但是，有时其他的激活函数效果会更好。Sigmoid和Tanh函数在神经网...
2020-03-26 18:29:06
485
原创 B站吴恩达深度学习视频笔记（15-27）——卷积神经网络总结
卷积神经网络（也称作 ConvNets 或 CNN）是神经网络的一种，它在图像识别和分类等领域已被证明非常有效。 卷积神经网络除了为机器人和自动驾驶汽车的视觉助力之外，还可以成功识别人脸，物体和交通标志。如图1所示，卷积神经网络能够识别图片的场景并且提供相关标题（“足球运动员正在踢足球”），图2则是利用卷积神经网络识别日常物品、人类和动物的例子。最近，卷积神经网络在一些自然语言处理任务（如语句...
2020-03-26 18:00:57
1407
原创 B站吴恩达深度学习视频笔记（27）——为什么使用卷积
前言啊，不得不说吴恩达使用的例子非常难描述。所以我偷懒用Keras做了卷积的小例子。但是这节课要用到之前的例子了，所以我不得不把应该在上节课的例子再补上。哎，该来的还是要来，逃不掉的。卷积神经网络实例构建全卷积神经网络的构造模块我们已经掌握得差不多了，下面来看个例子。假设，有一张大小为32×32×3的输入图片，这是一张RGB模式的图片，你想做手写体数字识别。32×32×3的RGB图片中含有...
2020-03-26 16:46:32
495
原创 B站吴恩达深度学习视频笔记（26）——简单卷积网络示例（使用了Keras框架）
本卷积网络包含：2维卷积层，卷积核数量为32，大小为3×3，激活函数为ReLU（卷积核数量为16的倍数）2维卷积层，卷积核数量为64，大小为3×3，激活函数为ReLU池化层，pool_size取2×2Flatten层把多维输入一维化全连接层 Dense(128, activation=‘relu’) ，神经元为128个Dropout(0.5) 在训练过程中每次更新参数时随机断开一定百...
2020-03-26 16:29:50
332
原创 B站吴恩达深度学习视频笔记（25）——池化层（Pooling）
池化层除了卷积层，卷积网络也**经常使用池化层来缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性，**我们来看一下。先举一个池化层的例子，然后我们再讨论池化层的必要性。假如输入是一个4×4矩阵，用到的池化类型是最大池化（max pooling）。执行最大池化的树池是一个2×2矩阵。执行过程非常简单，把4×4的输入拆分成不同的区域，我把这个区域用不同颜色来标记。对于2×2的输出，输出的...
2020-03-26 16:07:49
953
原创 B站吴恩达深度学习视频笔记（24）——单层卷积网络
推荐阅读通俗理解卷积神经网络 单层卷积网络今天我们要讲的是如何构建卷积神经网络的卷积层，下面来看个例子。上节课，我们已经讲了如何通过两个过滤器卷积处理一个三维图像，并输出两个不同的4×4矩阵。假设使用第一个过滤器进行卷积，得到第一个4×4矩阵。使用第二个过滤器进行卷积得到另外一个4×4矩阵。最终各自形成一个卷积神经网络层，然后增加偏差，它是一个实数，通过Python的广播机制给这16...
2020-03-26 12:40:15
224
原创 B站吴恩达深度学习视频笔记（23）——三维卷积
前言其实相对于卷积灰度图来说，三维卷积更贴近于我们的实际情况，毕竟我们拍摄到的照片都是彩色照片，这样就涉及我们在一开始几篇笔记里讲的RGB。三维卷积才是卷积真正应用的地方之一。三维卷积在上面笔记中你已经知道如何对二维图像做卷积了，现在看看如何执行卷积不仅仅在二维图像上，而是三维立体上。我们从一个例子开始，假如说你不仅想检测灰度图像的特征，也想检测RGB彩色图像的特征。彩色图像如果是6×6×...
2020-03-26 12:25:22
419
原创 B站吴恩达深度学习视频笔记（22）——卷积步长讲解
卷积步长卷积中的步幅是另一个构建卷积神经网络的基本操作，让我向你展示一个例子。如果你想用3×3的过滤器卷积这个7×7的图像，和之前不同的是，我们把步幅设置成了2。你还和之前一样取左上方的3×3区域的元素的乘积，再加起来，最后结果为91。只是之前我们移动蓝框的步长是1，现在移动的步长是2，我们让过滤器跳过2个步长，注意一下左上角，这个点移动到其后两格的点，跳过了一个位置。然后你还是将每个元素...
2020-03-26 12:20:37
558
原创 B站吴恩达深度学习视频笔记（21）——Padding原理讲解
前言为了构建深度神经网络，你需要学会使用的一个基本的卷积操作就是padding，让我们来看看它是如何工作的。Padding我们在之前笔记中看到，如果你用一个3×3的过滤器卷积一个6×6的图像，你最后会得到一个4×4的输出，也就是一个4×4矩阵。那是因为你的3×3过滤器在6×6矩阵中，只可能有4×4种可能的位置。这背后的数学解释是，如果我们有一个n×n的图像，用f×f的过滤器做卷积，那么输出的...
2020-03-26 12:17:11
388
原创 B站吴恩达深度学习视频笔记（20）——更多关于卷积在边缘检测的方法
前言你已经见识到用卷积运算实现垂直边缘检测，在本笔记中，你将学习如何区分正边和负边，这实际就是由亮到暗与由暗到亮的区别，也就是边缘的过渡。你还能了解到其他类型的边缘检测以及如何去实现这些算法，而不要总想着去自己编写一个边缘检测程序，让我们开始吧。更多边缘检测的内容看这张图还是上一个笔记中的例子，这张6×6的图片，左边较亮，而右边较暗，将它与垂直边缘检测滤波器进行卷积，检测结果就显示在了右...
2020-03-26 12:12:24
363
原创 B站吴恩达深度学习视频笔记（19）——卷积网络的边缘检测
前言从本篇笔记我们正式开始学习卷积神经网络。卷积运算是卷积神经网络最基本的组成部分，使用边缘检测作为入门样例。在这个笔记中，你会看到卷积是如何进行运算的。在之前的笔记中，我说过神经网络的前几层是如何检测边缘的，然后，后面的层有可能检测到物体的部分区域，更靠后的一些层可能检测到完整的物体，这个例子中就是人脸。在这个视频中，你会看到如何在一张图片中进行边缘检测。边缘检测让我们举个例子，给了这...
2020-03-26 12:07:25
396
原创 B站吴恩达深度学习视频笔记（18）——计算机视觉
前言这是真正开讲卷积神经网络之前最后一篇作为铺垫的笔记了，计算机视觉与卷积神经网络密切相关。理解计算机视觉，才能理解为啥会出现卷积神经网路。计算机视觉计算机视觉是一个飞速发展的一个领域，这多亏了深度学习。深度学习与计算机视觉可以帮助汽车，查明周围的行人和汽车，并帮助汽车避开它们。还使得人脸识别技术变得更加效率和精准，你们即将能够体验到或早已体验过仅仅通过刷脸就能解锁手机或者门锁。当你解...
2020-03-26 11:59:18
403
原创 B站吴恩达深度学习视频笔记（17）——神经网络中的参数和超参数
前言这节课是补的，这两个概念很重要。卷积神经网络也是神经网络，也会按照神经网络的工作模式运转，照样有权重和超参数，照样有向前传播和向后传播。所以这篇笔记我们来了解一下什么是超参数，他和参数有什么区别。参数VS超参数想要你的深度神经网络起很好的效果，你还需要规划好你的参数以及超参数。什么是超参数？比如算法中的learning ratea（学习率）、iterations(梯度下降法循环的数量...
2020-03-26 11:53:32
321
原创 B站吴恩达深度学习视频笔记（16）——何时需要端到端的深度学习？
是否要使用端到端的深度学习假设你正在搭建一个机器学习系统，你要决定是否使用端对端方法，我们来看看端到端深度学习的一些优缺点，这样你就可以根据一些准则，判断你的应用程序是否有希望使用端到端方法。这里是应用端到端学习的一些好处，首先端到端学习真的只是让数据说话。所以如果你有足够多的(x,y)数据，那么不管从x到y最适合的函数映射是什么，如果你训练一个足够大的神经网络，希望这个神经网络能自己搞清...
2020-03-26 11:42:57
197
原创 B站吴恩达深度学习视频笔记（15）——端到端的深度学习
前言从这篇笔记开始，我们来学习卷积神经网络。不过在学习卷积之前，你需要理解端到端的深度学习。笔记会从各种实际例子出发，让大家更好地理解知识。同时，需要说明的一点是，由于卷积涉及神经网络的知识非常多，有很多模型都是基于卷积神经网络的。由于我优先按照学校老师讲知识的进度更新笔记，所以这些模型很可能不会涉及。可能要等到后面几篇笔记才会讲到很高级的卷积应用。为啥隔了这么长时间呢，因为学校老师突然讲卷积...
2020-03-26 11:35:49
408
原创 神经网络第二部分更新前言
由于学校老师的进度问题，今明两天会更新有关卷积神经网络的文章。不仅仅是简单了解卷积神经网络，我们从边缘检测出发，一点一点告诉你卷积神经网络的原理和工作模式，最后会有若干个有关卷积神经网络的例子。而浅层神经网络的知识我们等了解完卷积神经网络之后再来了解。...
2020-03-25 11:42:37
123
原创 过拟合问题
前言一开始，我在用自己学到的各种模型对数据做预测时，有时候自己的模型与训练数据拟合的非常好，但在测试样例中却表现的很糟糕。是模型不够好？数据有问题？于是我就换用更复杂的模型，在神经网络中也尝试不断地增加层数，结果模型与训练数据拟合的越来越好，但在测试样例中表现的越来越糟糕。这是我曾经踏入的一个误区，总以为模型和算法是机器学习的核心，不知不觉就陷入了所谓的过拟合（Overfitting）陷阱...
2020-03-22 21:17:16
1152
原创 2020.3.22-随笔
中午的时候和小姐姐聊机器学习和未来的发展规划。她和我一样对于我们老师目前这种吞枣式教学不满意，也希望自己可以真正掌握一门技术，但是表示机器学习太难了。我给她推荐了自己写的博客，因为我也是从萌新刚刚入门，所以我在更新机器学习相关博文的时候心里很明白，我写的东西一定要让我这样的新手看懂，这样一开始才不至于那么难，让很多抱有一腔热血想要入门机器学习的同学退却。可是聊着天我发现虽然小姐姐对于我提供给她的...
2020-03-22 18:57:32
135
原创 B站吴恩达深度学习视频笔记（1-14）——实战3：识别猫图
前言还记得在前几节课中吴恩达老师讲述如何识别一张图片，以及电脑识别图片的原理吗？这篇笔记中就会用到之前笔记1-14除了机器学习框架以外几乎所有的知识，来完成入门阶段终极实战——识别猫图。我们即将使用逻辑回归搭建一个简单的单层神将网络，并实现猫图的识别。本篇中的单层神经网络在训练集与测试集上分别获得了 100% 与 70% 的正确率。数据导入使用的数据是著名的catvnoncat数据集，数...
2020-03-20 10:09:55
1451
原创 B站吴恩达深度学习视频笔记（14）——实战2：解决二分类问题
前言相比上一篇实战，在这一篇笔记里，你可以学到更多有关检验和模型优化的经验，对于初学者来说，这样的经验尤为宝贵。同样的，我们还是使用Keras框架。这次是数据集，我们选用声纳数据集。教程概述在看完本教程之后你将学会:如何加载和准备数据如何创建一个基线神经网络模型如何使用scikit-learn 和 k-fold 交叉验证评估Keras模型数据准备如何提升你的模型的性能如何调整网络...
2020-03-19 20:34:29
501
原创 B站吴恩达深度学习视频笔记（13）——实战1：动手搭建第一个神经网络
前言到此为止，神经网络基础就正式告一段落。坚持看到这篇文章的同学，恭喜你，你已经正式入门机器学习了。不过吴恩达老师视频不可能给我们现场演示写代码，所以课下实现老师所讲的内容就要靠我们自己了。下面我们自己来动手搭建第一个神经网络吧。教程概述这里不需要编写太多的代码,不过我们将一步步慢慢地告诉你怎么以后怎么创建自己的模型。教程将会涵盖以下步骤:加载数据定义模型编译模型训练模型评估模...
2020-03-19 19:54:20
365
原创 B站吴恩达深度学习视频笔记（12）——Python中的广播
前言没错，就是python的这个东西让向量化大大提高你代码的运行速度，python的广播机制。在这一篇笔记，我们会从一个例子开始。其实python的广播机制很简单。python中的广播这是一个不同食物(每100g)中不同营养成分的卡路里含量表格，表格为3行4列，列表示不同的食物种类，从左至右依次为苹果，牛肉，鸡蛋，土豆。行表示不同的营养成分，从上到下依次为碳水化合物，蛋白质，脂肪。那么，...
2020-03-19 16:13:38
306
原创 B站吴恩达深度学习视频笔记（11）——多样本梯度下降和向量化处理多批次数据
前言多样本梯度下降原理和单样本是一样的，只不过使用了代价函数——样本集中每个样本对应损失函数的平均值。而向量化对于深度学习处理数据速度的提升是非常大的，我们结合刚刚的多样本梯度下降讲一下向量化。m 个样本的梯度下降和向量化处理数据在之前的笔记中,已经讲述了如何计算导数，以及应用梯度下降在逻辑回归的一个训练样本上。现在我们想要把它应用在m个训练样本上。首先，让我们时刻记住有关于损失函数就J...
2020-03-19 16:05:52
284
原创 B站吴恩达深度学习视频笔记（10）——从计算图（Computational Graph）角度计算梯度下降
前言计算图是一个很重要的概念。在上一篇笔记里面，我们把公式写进小格子里面看作图的一个结点，通过图结点的前驱和后继完成对于参数的更新，以及数值的运算，这就是计算图的用法。为了更好地在神经网络中利用计算图做点事情，这篇笔记会告诉你如何使用计算图计算梯度下降（梯度下降光讲是啥了，还没说怎么算呢）计算图计算梯度下降本节我们讨论怎样通过计算偏导数来实现逻辑回归的梯度下降算法。它的关键点是几个重要公式...
2020-03-19 12:01:18
403
1
原创 B站吴恩达机器学习视频笔记（9）——神经网络中的向前传播和向后传播计算
前言理解神经网络中的向前传播和向后传播计算对于理解神经网络工作机制是很重要的。吴恩达老师的视频是通过列举具体的公式和数据，还原向前传播和向后传播计算过程，来让我们理解他们的。总之这个地方对于导数的知识是有要求的，但是由于我们老师已经开始讲数据挖掘预测了，我这博客更新的内容还处于初级阶段，所以导数的内容我不再赘述，需要补数学的同学去哔哩哔哩搜索宋浩老师，看有关导数的几节视频就可以了，其他的像贝叶...
2020-03-19 11:39:09
1264
原创 B站吴恩达机器学习视频笔记（8）——梯度下降
前言啊，这个吴恩达老师讲这个梯度下降的方式有点吓人，又掏公式又弄三维坐标系的，其实梯度下降没有看上去那么难，视频中讲的比较专业，虽然努努力还是可以理解的，但是相对于萌新来说不太友好，有的同学可能一看这么多公式就放弃了。不过不要紧嘛，我也是萌新嘛，我给你们解释你们不就懂的容易了，萌新何必为难萌新呢。不过我还是会把吴恩达老师讲的内容放到文章最后，你们先看简单的，再看比较难的，就会很开心。梯度下降零...
2020-03-16 20:50:24
438
1
原创 B站吴恩达深度学习视频笔记（7）——逻辑回归的代价函数
前言代价函数，损失函数，误差函数，这些函数名看起来意思十分相近，实际上他们的意思也十分相近，这篇博文就来介绍一下这几个函数，以及他们在机器学习中的重要作用。代价函数很重要！为什么需要代价函数为了训练逻辑回归模型的参数 w和参数b我们，需要一个代价函数，通过训练代价函数来得到参数w和参数b 。先看一下逻辑回归的输出函数：为了让模型通过学习调整参数，你需要给予一个m样本的训练集，这会让你在训...
2020-03-16 17:02:23
566
原创 B站吴恩达深度学习视频笔记（6）——逻辑回归
前言逻辑回归是机器学习非常重要的一种模型，在机器学习的某些场景下，甚至出现了“一个LR打天下”的情况，可以说这个模型是机器学习必须精通的模型。在这之前，你肯定接触过线性回归，但是逻辑回归和线性回归存在不小的差异，我需要先帮你弄清线性回归和逻辑回归是什么，他们有什么区别，再通过吴恩达老师的视频，详细地讲一下逻辑回归。什么是线性回归（Linear regression）首先我们要了解，什么是回归...
2020-03-16 00:02:17
343
原创 B站吴恩达深度学习视频笔记（5）——二分类问题
前言这几天在努力攻克神经网络，并想办法怎么把那些非常吓人的推到公式变成大家喜欢看的形式，用大家熟知的语言描述出来。很多人都是在神经网络这里看到一大坨公式然后知难而退。神经网络是机器学习的必经之路，是初学者们必须攻克的第一个难题，我会尽量用你们容易接受的语言和知识向你们描述神经网络中的一些最最基础也是最最重要的部分。现在我们来了解一下深度学习中比较简单的一类问题：二分类问题。二分类(Binary...
2020-03-15 23:10:29
1026
原创 机器学习部分神经网络——更新前言
真正接触到神经网络之后发现，神经网络对于机器学习初学的朋友真的是第一块非常难啃但是必须要啃的硬骨头，很多关键性的概念和知识，思维模式，都包含其中，本人也在努力梳理和学习，想和我一起从萌新的视角入门神经网络，知道一些很基础但是很重要的模型和算法的同学，请点个关注，我会按照本人学习进度陆续更新通俗易懂的笔记博文。给你们一个参考，同时请精通机器学习的大佬多多指教。...
2020-03-14 22:29:20
190
原创 B站吴恩达深度学习视频学习笔记（4）——-为什么深度学习会兴起？
前言这节课主要讲述了当今机器学习的探索过程，从过程中我们是怎么样总结优化，使得机器学习一直在被完善和发展。有一些概念和想法对于今后的学习还是很重要的，可以让你知道自己为什么要这么做，为什么要加那个函数等等。为什么深度学习会兴起？(Why is Deep Learning taking off?)本节视频主要讲了推动深度学习变得如此热门的主要因素。包括数据规模、计算量及算法的创新。(3个重点概...
2020-03-13 00:16:44
261
原创 [通俗易懂]机器学习中的激活函数
十分形象地讲：神经网络的激活函数（activation function）是一群空间魔法师，扭曲翻转特征空间，在其中寻找线性的边界。如果没有激活函数，那么神经网络的权重、偏置全是线性的仿射变（affine transformation）：这样的神经网络，甚至连下面这样的简单分类问题都解决不了：在这个二维特征空间上，蓝线表示负面情形（y=0），绿线表示正面情形（y=1）没有激活函数的加...
2020-03-12 23:14:08
530
原创 B站吴恩达深度学习视频学习笔记（3）——-神经网络如何实现监督学习？
前言刚开始几节课都在宏观地讲一些观念和Why，具体的做法可能要到后面才能讲到。不过这几节课都在补充机器学习很重要的词汇，并且去解释他们。这对于以后的学习是非常重要的。神经网络的监督学习(Supervised Learning with Neural Networks)（请注意文中粗体部分内容，划重点吶！）关于神经网络也有很多的种类，考虑到它们的使用效果，有些使用起来恰到好处，但事实表明，到...
2020-03-12 23:08:26
234
原创 B站吴恩达深度学习视频学习笔记（2）——-什么是神经网络（Neural Network）
前言这节课通过举例子的方式形象生动地介绍了什么是神经网络，以下内容基本为原视频翻译内容，内容十分生动详细，很好理解。什么是神经网络？(What is a Neural Network)我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢？在这个视频中，会讲解一些直观的基础知识。首先，让我们从一个房价预测的例子开始讲起。假设你有一...
2020-03-12 21:58:47
431
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人