2020年02月__Yangtze

原创深度学习GAN笔记（2）

generator能不能自己learning？auto_encodertraining data里面的vector是有限的。VAE（更稳定）（machine learning里面有）what do we miss？通常用像素之间的距离来衡量两幅图片之间的相似度。一般希望距离越小越好。但generator一般不可能和target完全一样，会在某些地方有误差，误差“在哪里”就很关键...

2020-02-24 23:13:49 251

原创深度学习 GAN 笔记（1）

Reference 李宏毅深度学习视频GAN （quick review）1.Typical GAN输入是random vector。这里引入了generator和discriminator。以生成动漫头像为例，输入的随机向量通过generator之后产生高维度的向量，把产生的高维度的向量输入discriminator，discriminator会参照标准给它打分。Algorithm...

2020-02-21 21:23:33 358

原创吴恩达Deeplearning.ai笔记（5）池化层和卷积神经网络示例

max pooling如果把这个4*4区域看作是某个特征的集合，则一个大的数字表示可能检测到了一个特定特征，max pooling保留一个区域里面最大的那个数字。max pooling的超参数有步长和过滤器大小，但是它没有任何参数需要learning。前面卷积层的公式在池化层同样适用。average pooling即一个过滤器大小的区域里面取平均值。使用较少。卷积神经网络示例神经网...

2020-02-13 10:32:00 293

原创吴恩达Deeplearning.ai笔记（7）目标检测

终于要进入object detection了。分类并定位：除了输出分类结果，还要输出边界框。下面第二个图，想要检测面部的轮廓，可以让输出如下图所示。这种功能常见于各种美颜拍照软件。滑动窗口检测方法：设定一个滑动窗口大小和步长，通过滑动窗口提出目标区域，通过分类器识别分类，然后再滑向下一个区域。其缺点是步长太大难检测到目标，步长太小计算量太大。卷积的滑动窗口：用卷积层来代替全连接层...

2020-02-09 21:35:40 769

原创吴恩达Deeplearning.ai笔记（6）经典网络和残差网络

今天介绍三种经典的网络！笔记写的越来越敷衍（嘻嘻）男神照片开篇LeNet-5LeNet-5任务是手写数字识别（灰度图像）和之前跟着一本书做实战的模型对比了一下，还是不太一样的：AlexNet和LeNet很像但是网络更大，而且比其更优的地方是用ReLu激活。VGG-16它的网络结构更简单。真正地简化了网络结构。它的卷积层过滤器都是3*3，步长为1，用same padding...

2020-02-08 15:35:40 515

原创吴恩达Deeplearning.ai笔记（4）卷积网络

（1）边缘检测左边的6*6矩阵就是输入的图像的像素，中间3*3的是过滤器，右边是输出。计算就是如下图为什么这样可以检测出边缘？下图左边的6*6矩阵可以看出表示的是中间有一条边界的图像。通过中间的过滤器后得到右边的输出，可以看到检测出了一个正边缘（白色的，表示从亮到暗），正边缘较粗是因为输入是很小的图像（6*6）将输入矩阵左右翻转就是下图下半部分的样子，可以看到检测出了负边缘（黑色的，...

2020-02-07 22:00:56 217

原创吴恩达Deeplearning.ai笔记（3）与人类表现比较

（1）模型准确率在接近人类表现之前增长较快，但一旦超过人类表现，增长速度就会减缓。准确率不会超过贝叶斯最优误差。为什么超过人类表现时进展会放慢呢？1.在未超过人类表现时，有很多工具可以帮助改善准确率。如下：2.人类表现和贝叶斯误差往往会比较接近，所以没有大的改善空间。（2）左侧的情况，应该做的是减小偏差，缩小训练错误率和人类错误率之间的距离。右侧的情况应该做的是减小训练集误差和验证集误...

2020-02-04 19:46:40 264

原创吴恩达 DeepLearning.ai 笔记（2）理解dropout

Dropout为什么可以减少过拟合？（1）它会随机丢弃掉一些结点，所以看起来是在更小的网络上训练。（2）以下图紫圈的神经元为例，由于在中间做了dropout，所以向它输入的四个神经元可以随机失活，所以紫圈神经元不能把所有权重都压在一个输入神经元上面，以此来控制权重。（和L2正则化达到的效果类似）举例：如下图，可以对不同的层使用不同的留存率。对于7*7的权值矩阵，使用0.5的留存率（过拟合的...

2020-02-03 22:31:30 335

原创吴恩达 DeepLearning.ai 笔记（1）机器学习策略

ML strategy（1）orthogonalizationchain of assumptions in ML要保证在训练集上表现良好–> 在开发集上表现良好–>在测试集上表现良好–>在现实世界表现良好当发现在以上某个数据集上表现不好时，对算法的调整尽量独立于其他数据集。具体：如果你的算法在损失函数上不能很好地拟合训练集，你想要一个旋钮，或者一组特定的旋钮，这样你...

2020-02-03 22:15:34 251

原创 CS230 Lecture2 笔记

CS230 Lecture2有多种动物图片，进行多分类的识别时，如何设计标签：OneHot编码，缺点是当一张图上既有猫又有狗时无法表示。此时要用到MultiHot。设计损失函数：softmaxDay’n Night（1）采集多少图片，如何评估：1.与其他类似的项目进行对比评估数据集大小2.根据训练目的决定（判断在外面拍摄的照片是白天还是黑夜or更加复杂的情景如涉及到室内、黄昏、黎...

2020-02-02 17:20:19 250

Wind__Chaser的博客