- 博客(8)
- 资源 (7)
- 收藏
- 关注
原创 python下手动实现卷积神经网络中的卷积操作(conv2d)
写这个的原因:一来好像没怎么搜到别人手动实现,作为补充;二来巩固一下基础。卷积操作示意先从一张示意图说起,卷积基础概念和操作步骤就不啰嗦了,只讲这张图,大意就是,有in-channel,有out-channel,你需要把in-channel都做卷积操作,然后产出out-channel,所以这个w是要层层拆解,w分拆成w0和w1,以对应2个out-channel。w0分拆成...
2018-10-23 14:10:08 9221 1
原创 Gradient Descent、Momentum、Nesterov的实现及直觉对比
GradientDescent、Momentum(动量)、Nesterov(牛顿动量)的直觉含义对比:Gradient Descentdef gd(x_start, step, g):#gradient descent x = np.array(x_start, dtype='float64') # print(x) passing_dot = [x....
2018-10-22 02:18:45 1522
原创 tensorflow使用多层RNN(lstm)预测手写数字实现部分细节及踩坑总结
输入格式:batch_size*784改成batch_size*28*28,把784个像素改成了28个行的序列,每一行的内容是一行像素的28个像素灰度数值。让神经网络逐行扫描一个手写字体图案,总结各行特征,通过时间序列串联起来,最终得出结论。网络定义:单独定义一个获取单元的函数,便于在MultiRNNCell中调用,创建多层LSTM网络def get_a_cell(i): l...
2018-10-19 00:06:02 2128
原创 TensorFlow实现多层LSTM识别MNIST手写字,多层LSTM下state和output的关系
其他内容https://blog.csdn.net/huqinweI987/article/details/83155110 输入格式:batch_size*784改成batch_size*28*28,28个序列,内容是一行的28个灰度数值。让神经网络逐行扫描一个手写字体图案,总结各行特征,通过时间序列串联起来,最终得出结论。网络定义:单独定义一个获取单元的函数,便于在Mult...
2018-10-18 16:17:53 1397
原创 tensorflow存储、恢复神经网络结构和变量
tensorflow提供了变量保存接口,方便储存训练好的网络参数,以便进行预测和继续训练。save核心代码只有两句话,简化DEMO如下(代码中的global_step后边会解释):import tensorflow as tfW1 = tf.Variable([[1,2,3],[4,5,6]])#, name = 'variable1'W2 = tf.Variable([[11,2...
2018-10-09 20:30:58 1268
原创 tensorflow使用L2 regularization正则化修正overfitting过拟合
L2正则化原理:过拟合的原理:在loss下降,进行拟合的过程中(斜线),不同的batch数据样本造成红色曲线的波动大,图中低点也就是过拟合,得到的红线点低于真实的黑线,也就是泛化更差。可见,要想减小过拟合,减小这个波动,减少w的数值就能办到。L2正则化训练的原理:在Loss中加入(乘以系数λ的)参数w的平方和,这样训练过程中就会抑制w的值,w的(绝对)值小,模型复杂度低,曲线...
2018-10-07 11:46:01 8100 3
原创 tensorflow使用可变学习率进行训练(tf.train.exponential_decay)
tensorflow提供了接口,可以直接可变学习率,在训练过程中动态改变学习率。两种train_op,一种普通的固定学习率训练作为对比train_op,一种是可变学习率train_op2。接口参数:起始学习率;训练步数计数器:用来计算何时改变学习率,之所以不自动提供,而是让你手动传入变量,可能是为了你提取监控方便一些(就如我做的一样);学习率改变步数阈值:就是每过多少步变一次学...
2018-10-06 22:34:36 5062
原创 tensorflow中tf.strided_slice用法
一个工程中用到,乍一看很简单,给了下标直接就能从队列中切出数据来,但是扫一眼help给的高级用法反而有点懵,所以写了个demo。demo1:正常单轴用法,只要给出下标就能切数据import tensorflow as tfsess = tf.Session()#easy demot = tf.constant([1,2,3,4,5,6,7,8])t1 = tf.stride...
2018-10-01 18:46:24 1523
Kaggle ICML2013 fer2013人脸表情识别/面部表情识别 tensorflow实现与优化
2019-09-30
关于TreeFTL的一篇论文翻译
2014-04-07
A survey of Flash Translation Layer论文笔记翻译
2014-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人