![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
shallow neural network
qq_33666011
这个作者很懒,什么都没留下…
展开
-
复习2: 归一化、正则化、BN、IN、LN、GN原理- 为什么BN可以替代正则化、batch-size大小对训练/BN的影响、为什么正则化可以防止过拟合?
目录归一化、正则化、BN、IN、LN、GN原理feature scaling 特征缩放、归一化、标准化、中心化批量归一化 BN、IN、Ln、GN拟合问题、正则化、dropout归一化、正则化、BN、IN、LN、GN原理参考了很多博客,转载的feature scaling 特征缩放、归一化、标准化、中心化什么是特征缩放特征缩放的目标就是数据规范化,使得特征的...原创 2020-02-28 10:56:34 · 2906 阅读 · 0 评论 -
复习1: 深度学习优化算法 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 详细解释 + 如何选择优化算法
深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程。优化器其实就是采用何种方式对损失函数进行迭代优化,也就是有一个卷积参数我们初始化了,之后loss还很大,我们让这个参数根据loss的梯度如何变,每次变多少可以让loss函数在凸曲面上不断变小而找到最优解...原创 2020-02-25 23:27:29 · 6008 阅读 · 0 评论 -
2019.6学习总结
1、目标检测1.1、np.partition在目标检测中,可能想让一张图片最多检测出有kth个框,可以使用thresh = np.partition(scores, kth)[kth]来得到score里最大的前kth个。使用kth比sort更快。因为他只是确保kth前都是比第kth个大,kth后都比他小。两边不排序。1.2、浅拷贝与深拷贝在pytorch里,经过nn.Moduel得...原创 2019-07-01 16:00:25 · 142 阅读 · 0 评论 -
TensorFlow 输出和修改checkpoint 中的变量名与变量
看上了两篇文章~想留着哈哈哈~转载自https://blog.csdn.net/qq_32799915/article/details/80312928https://zhuanlan.zhihu.com/p/36982683哈哈哈TensorFlow 输出checkpoint 中的变量名与变量值2018年05月14日 17:52:12阅读数:18[python] view plain copyi...转载 2018-05-31 13:05:20 · 10042 阅读 · 11 评论 -
keras的mnist学习
#手写数字识别import numpy as npimport kerasimport tensorflow as tffrom keras.models import Sequentialfrom keras.layers.core import Dense,Dropout,Activationfrom keras.optimizers import SGD #SGD随机梯度下降...原创 2018-05-31 12:42:36 · 367 阅读 · 0 评论 -
吴恩达 Regularization 答案
RegularizationWelcome to the second assignment of this week. Deep Learning models have so much flexibility and capacity that overfitting can be a serious problem, if the training dataset is not big en...转载 2018-04-12 09:30:29 · 798 阅读 · 0 评论 -
吴恩达 Gradient Checking v1 答案
Gradient CheckingWelcome to the final assignment for this week! In this assignment you will learn to implement and use gradient checking.You are part of a team working to make mobile payments availabl...原创 2018-04-12 09:29:13 · 907 阅读 · 0 评论 -
吴恩达 initialization 答案
InitializationWelcome to the first assignment of "Improving Deep Neural Networks".Training your neural network requires specifying an initial value of the weights. A well chosen initialization method ...原创 2018-04-12 09:28:06 · 517 阅读 · 0 评论 -
吴恩达 Optimization methods 答案
Optimization MethodsUntil now, you've always used Gradient Descent to update the parameters and minimize the cost. In this notebook, you will learn more advanced optimization methods that can speed up...原创 2018-04-12 09:26:36 · 658 阅读 · 0 评论 -
吴恩达 TensorFlow Tutorial 答案
TensorFlow TutorialWelcome to this week's programming assignment. Until now, you've always used numpy to build neural networks. Now we will step you through a deep learning framework that will allow y...原创 2018-04-12 09:23:40 · 690 阅读 · 0 评论 -
softmax与神经网络
首先softmax的公式为其中ezj是当前神经元输出的zj进行取指得到的值,分母为:当前层所有神经元输出z的取指和,换句话说就是:把一堆实数的值映射到0-1区间,并且使他们的和为1。softmax经常在神经网络中代替sigmoid用于输出层上,通过结果得到的0-1区间的值代表概率来判断谁更可能是符合的输出softmax直观理解:max是a>b一定取a,没有比别的选择。而在神经网络中有时候我们...原创 2018-03-15 18:52:14 · 2615 阅读 · 0 评论