- 博客(8)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 python下手动实现卷积神经网络中的卷积操作（conv2d）
写这个的原因：一来好像没怎么搜到别人手动实现，作为补充；二来巩固一下基础。卷积操作示意先从一张示意图说起，卷积基础概念和操作步骤就不啰嗦了，只讲这张图，大意就是，有in-channel，有out-channel，你需要把in-channel都做卷积操作，然后产出out-channel，所以这个w是要层层拆解，w分拆成w0和w1，以对应2个out-channel。w0分拆成...
2018-10-23 14:10:08
9221
1
原创 Gradient Descent、Momentum、Nesterov的实现及直觉对比
GradientDescent、Momentum（动量）、Nesterov（牛顿动量）的直觉含义对比：Gradient Descentdef gd(x_start, step, g):#gradient descent x = np.array(x_start, dtype='float64') # print(x) passing_dot = [x....
2018-10-22 02:18:45
1522
原创 tensorflow使用多层RNN（lstm）预测手写数字实现部分细节及踩坑总结
输入格式：batch_size*784改成batch_size*28*28，把784个像素改成了28个行的序列，每一行的内容是一行像素的28个像素灰度数值。让神经网络逐行扫描一个手写字体图案，总结各行特征，通过时间序列串联起来，最终得出结论。网络定义：单独定义一个获取单元的函数，便于在MultiRNNCell中调用，创建多层LSTM网络def get_a_cell(i): l...
2018-10-19 00:06:02
2128
原创 TensorFlow实现多层LSTM识别MNIST手写字，多层LSTM下state和output的关系
其他内容https://blog.csdn.net/huqinweI987/article/details/83155110 输入格式：batch_size*784改成batch_size*28*28,28个序列，内容是一行的28个灰度数值。让神经网络逐行扫描一个手写字体图案，总结各行特征，通过时间序列串联起来，最终得出结论。网络定义：单独定义一个获取单元的函数，便于在Mult...
2018-10-18 16:17:53
1397
原创 tensorflow存储、恢复神经网络结构和变量
tensorflow提供了变量保存接口，方便储存训练好的网络参数，以便进行预测和继续训练。save核心代码只有两句话，简化DEMO如下（代码中的global_step后边会解释）：import tensorflow as tfW1 = tf.Variable([[1,2,3],[4,5,6]])#, name = 'variable1'W2 = tf.Variable([[11,2...
2018-10-09 20:30:58
1268
原创 tensorflow使用L2 regularization正则化修正overfitting过拟合
L2正则化原理：过拟合的原理：在loss下降，进行拟合的过程中（斜线），不同的batch数据样本造成红色曲线的波动大，图中低点也就是过拟合，得到的红线点低于真实的黑线，也就是泛化更差。可见，要想减小过拟合，减小这个波动，减少w的数值就能办到。L2正则化训练的原理：在Loss中加入（乘以系数λ的）参数w的平方和，这样训练过程中就会抑制w的值，w的（绝对）值小，模型复杂度低，曲线...
2018-10-07 11:46:01
8100
3
原创 tensorflow使用可变学习率进行训练（tf.train.exponential_decay）
tensorflow提供了接口，可以直接可变学习率，在训练过程中动态改变学习率。两种train_op，一种普通的固定学习率训练作为对比train_op，一种是可变学习率train_op2。接口参数：起始学习率；训练步数计数器：用来计算何时改变学习率，之所以不自动提供，而是让你手动传入变量，可能是为了你提取监控方便一些（就如我做的一样）；学习率改变步数阈值：就是每过多少步变一次学...
2018-10-06 22:34:36
5062
原创 tensorflow中tf.strided_slice用法
一个工程中用到，乍一看很简单，给了下标直接就能从队列中切出数据来，但是扫一眼help给的高级用法反而有点懵，所以写了个demo。demo1：正常单轴用法，只要给出下标就能切数据import tensorflow as tfsess = tf.Session()#easy demot = tf.constant([1,2,3,4,5,6,7,8])t1 = tf.stride...
2018-10-01 18:46:24
1523
Kaggle ICML2013 fer2013人脸表情识别/面部表情识别 tensorflow实现与优化
2019-09-30
关于TreeFTL的一篇论文翻译
2014-04-07
A survey of Flash Translation Layer论文笔记翻译
2014-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人