gaohanjie123的博客

参数VS超参数参数和超参数并不是一个东西，现在可以理解为：参数是我们真正要通过深度学习学到的参数。比如神经网络中的W和b;超参数会影响参数的最优取值，比如学习率，神经网络的层数，每层的神经元个数，目前获得超参数的较好取值的方法就是多尝试一些值，看取哪个值更好。什么是超参数？想要让你的深度神经网络运作得更为高效，你不仅要好好设置参数，更需要用心配置超参数，让我们来看一下什么是超参数。在神经...

为什么检验矩阵的维度是否正确在做神经网络模型时，请检查一遍代码，确保所有的矩阵维度保持一致，这会减少代码中的错误 。如果能一直保持这些不同矩阵以及向量维度的一致性 ，这将会帮助减少bug ，这个方法确实很有效。只有一个样本的情况下m个样本的情况下...

前期回顾在之前的课程中，我们学习了单隐藏层神经网络中的：（1） 前向传播和反向传播（2）逻辑回归（3）向量化（4）了解了对权重参数进行随机初始化的重要性如果你完成了前几周的作业，那你应该已经实现并亲眼看到了某些理念实现后的效果。迄今为止，我们已经学过实现深度神经网络需要的大部分知识 。本周任务本周的任务是：把这些理念组合起来，并利用它们实现你自己的深度神经网络。学习目标：（1）...

--------Andrew的《Neural Networks and Deep Learning》课程学习笔记为什么使用激活函数如图所示，是一个简单的三层神经网络，如果只使用线性激活函数或者恒等激活函数（不使用激活函数），那么神经网络的输出就只是输入函数的线性变化，因为线性激活函数的组合依然是线性激活函数。这种情况下，不管使用多少个隐藏层都没有任何作用，和不使用隐藏层的效果是一样的...

One to one:最简单的神经网络模型 one to many:音乐生成 many to one：情感分析 many to many ：命名实体识别 many to many ：翻译

什么是残差网络残差网络是2015年提出的深度卷积网络，一经出世，便在ImageNet中斩获、检测、定位三项的冠军。 残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。核心是解决了增加深度带来的副作用（退化问题），这样能够通过单纯地增加网络深度，来提高网络性能。该网络出自论文《Deep Residual Learning for Image Recognition》我们都知道增...

三种经典的网络结构LeNet-5（1998）Alex Net（2012）VGG-16（2015）都是大佬的作品，非常经典，有时间要拜读论文呀（每张网络结构图片上都有论文信息）LeNet-5LeNet-5的任务识别手写数字，因为它是在灰度图像上训练，所以图片的维度是32x32x1。LeNet-5的结构最后一件以前做现在没有再做的事是 原始LeNet-5在池化后有非线性处理 我...

pooling（池化）层的作用1 减少展示量（特征量）2 提高计算速度3 使一些特征的检测功能更强大举例说明pooling背后的机制–以max pooling为例这里来说一下max pooling背后的机制 。如果你把这个4x4的区域看作某个特征的集合，即神经网络某个层中的激活状态。那么 一个大的数字意味着它或许检测到了一个特定的特征。所以，左侧上方的四分之一区域有这样的特征，它...

深度学习与大脑之间有什么相似性呢？我总结之后 觉得它们之间的相似度并不高 。我们先来看一下 为什么人们往往喜欢在 深度学习与人类大脑两者间进行比较。 当你构建神经网络系统时 你会运用前向传播 和反向传播 由于我们很难去直观地解释 这些复杂的方程为什么能实现理想的效果 而将深度学习和人脑类比则 让这个过程过于简化却更便于说明 这种解释的简易程度让大众更轻易地在各种媒介提及 使用或报道它 并且无疑...