- 博客(7)
- 收藏
- 关注
RSS订阅转载 Batch Normalization梯度反向传播推导
一篇讲解Batch Normalization反向传播公式推导比较清楚的文章:Batch Normalization梯度反向传播推导
2019-03-28 18:03:01
493
转载 学习率衰减/learning rate decay
看到一篇好文章, 系统地介绍了tensorflow中的几个学习率衰减函数, 并画图展示了它们的区别:TensorFlow学习－－学习率衰减/learning rate decay
2019-03-19 10:26:10
381
原创 cs231n课程资料整理(未完结)
1. 课程主页(视频, 讲义, 作业)CS231n Convolutional Neural Networks for Visual Recognition2. 关于SVM的讲解, 以及与softmax classifier的比较cs231n课程讲义Linear Classification...
2019-03-11 10:48:43
353
原创 一些cs231n中学到的函数(未完结)
1. np.argsort()返回数组值从小到大的索引值举例:x = np.array([3, 1, 2])np.argsort(x)# array([1, 2, 0])2. np.flatnonzero()该函数输入一个矩阵，返回扁平化后矩阵中非零元素的位置（index）>>> x = np.arange(-2, 3)>&
2019-03-08 15:41:09
116
原创 权重初始化的理解和一些参考资料
参考资料:神经网络权重初始化问题深度学习之参数初始化（一）——Xavier初始化深度学习中Xavier初始化4种权重WWW的初始化方法1. 全部WWW初始化为0: 不可行如果全部权重初始化为0, 神经网络计算出来的输出值都一样，那么反向传播算法计算出来的梯度值也一样，参数更新值也一样(w=w−α∗dw)(w=w−\alpha ∗ dw)(w=w−α∗dw)。更一般地说，如果权重初始...
2019-03-05 16:29:43
318
原创 tensorflow之数据读取 -- 用tf.data通过tfrecord读取数据或者直接读取数据
对于数据量很大的数据集, 直接读入内存可能会放不下, 建议的做法是把全部数据转换成tfrecord的格式, 方便神经网络读取数据, 并且从tfrecord中读取数据的话tensorflow专门做过优化, 能加快读取速度.参考资料: 官方tfrecord读写教程1. 生成tfrecord# 把一个byte数据转换成一个bytes_listdef _bytes_list_feature(val...
2019-03-04 09:42:19
4225
1
原创 神经网络常见优化算法(Momentum, RMSprop, Adam)的原理及公式理解, 学习率衰减
参考资料: 吴恩达Coursera深度学习课程 deeplearning.ai (2-2) 优化算法–课程笔记1. 指数加权平均(指数加权移动平均)指数加权平均是统计一个波动的指标在一段时间内的平均变化趋势, 具体公式为:vt=βvt−1+(1−β)θtv_t = \beta v_{t-1} + (1 - \beta)\theta_tvt=βvt−1+(1−β)θt其中β\betaβ是...
2019-03-01 01:23:40
6238
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人