TensorFlow中级教程
文章平均质量分 53
傅晨明
毕业于杭州电子科技大学
展开
-
4用于cifar10的卷积神经网络-4.24Tensorflow中LRN层的工作原理以及添加方法
LRN(Local Response Normalize Layer) 局部响应归一化层LRN最早见于Alex的那篇用CNN参加ImageNet比赛的论文,Alex在论文中解释了LRN层模仿了生物神经系统的“侧抑制”机制,对局部神经元的活动创建竞争环境,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛华能力。Alex在ImageNet数据集上的实验表明,使用LRN后CN原创 2017-11-28 10:37:12 · 1552 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.12优化器MomentumOptimizer的汇总结果分析
4用于cifar10的卷积神经网络-4.12优化器MomentumOptimizer的汇总结果分析原创 2017-11-24 18:29:18 · 1301 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.11优化器GradientDescenOptimizer的汇总结果分析
4用于cifar10的卷积神经网络-4.11优化器GradientDescenOptimizer的汇总结果分析总共执行6个epoch,每个epoch包含500个batch,每个batch包含100个样本,所以training step = 6*500=3000次。也就是说总共调用了3000次优化器的minimize函数。每隔20个批次进行一次记录。原创 2017-11-24 18:23:23 · 288 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.8/4.9为cifar10卷积网络添加汇总操作上/下
#-*- coding:utf-8 -*-#实现简单卷积神经网络对MNIST数据集进行分类:conv2d + activation + pool + fcimport csvimport tensorflow as tfimport osfrom tensorflow.examples.tutorials.mnist import input_dataos.environ['TF_CPP原创 2017-11-23 19:46:20 · 347 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.7TensorFlow的汇总类Summary和FileWriter用法
Summary类:负责汇总数据并写入事件文件 TensorBoard前台呈现的数据时tensorflow程序执行过程中,将一些summary类型的数据写入到日志目录的event文件中。下图标识了数据写入过程。 使用TensorBoard展示数据,需要在执行TensorFlow计算图的过程中,将各种类型的数据汇总并记录到日志文件中。然后使用TensorBoard读取这些日志文件,解析数据并生产数据原创 2017-11-23 09:47:49 · 8540 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.6设计模型训练和评估的会话流程
在TensorFlow中实现这个网络模型0、加载数据集 1、启动会话 2、一轮一轮的训练模型 2.1、在每一轮中分多个批次喂给数据 2.1.1在每个批次上运行训练节点,训练模型 2.1.2经过若干个批次后,评估当前的模型,计算训练集上的损失值,准确率 3、在测试集上评估最终的模型:损失值,准确率 #-*- coding:utf-8原创 2017-11-15 19:47:52 · 663 阅读 · 0 评论 -
6经典卷积神经网络模型之AlexNet-6.2用于ImageNet的AlexNet网络的假数据训练
在TensorFlow中实现这个网络模型 运行计算图: 0、加载数据集 1、启动会话 2、一轮一轮的训练模型 2.1、在每一轮中分多个批次喂给数据 2.1.1在每个批次上运行训练节点,训练模型 2.1.2经过若干个批次后,评估当前的模型,计算训练集上的损失值,准确率 3、在测试集上评估最终的模型:损失值,准确率原创 2017-12-01 16:16:47 · 513 阅读 · 0 评论 -
6经典卷积神经网络模型之AlexNet-6.1用于ImageNet的AlexNet网络计算图设计
6经典卷积神经网络模型之AlexNet-6.1用于ImageNet的AlexNet网络计算图设计参考:http://www.jianshu.com/p/58168fec534dAlexNet每层的超参数如图5所示。其中输入的图片尺寸为224*224,第一个卷积层使用了较大的卷积核尺寸11*11,步长为4,有96个卷积核;紧接着一个LRN层;然后是一个3*3的最大池化层,步长为2。这之后的卷积核尺寸都原创 2017-11-30 16:22:57 · 978 阅读 · 0 评论 -
5cifar100数据集的读取-5.4将CIFAR10上的卷积网络用于CIFAR100数据集
代码: convnets_test.py#-*- coding:utf-8 -*-#实现简单卷积神经网络对MNIST数据集进行分类:conv2d + activation + pool + fcimport csvimport tensorflow as tfimport osfrom tensorflow.examples.tutorials.mnist import input_da原创 2017-11-30 14:43:11 · 1088 阅读 · 0 评论 -
5cifar100数据集的读取-5.1/5.2/5.3TensorFlow读取Cifar100数据集(上/中/下)
http://www.cs.toronto.edu/~kriz/cifar.html两个文件:cifar_input.py 和 convnets_test.py只需修改这两个值,完成cifar10和cifar100之间切换 cifar_input.py:# Copyright 2015 The TensorFlow Authors. All Rights Reserved.## License原创 2017-11-29 18:38:50 · 4788 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.4/4.5cifar10数据集读取和数据增强扩充(上/下)
4用于cifar10的卷积神经网络-4.4/4.5cifar10数据集读取和数据增强扩充(上/下) 参考: https://github.com/tensorflow http://www.cs.toronto.edu/~kriz/cifar.html http://tensorflow.org/tutorials/deep_cnn/ https://github.com/tensorfl原创 2017-11-15 19:23:15 · 2200 阅读 · 1 评论 -
4用于cifar10的卷积神经网络-4.13优化器FtrlOptimizer的汇总结果分析
4用于cifar10的卷积神经网络-4.13优化器FtrlOptimizer的汇总结果分析原创 2017-11-24 18:39:15 · 699 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.14优化器AdagradOptimizer的汇总结果分析
4用于cifar10的卷积神经网络-4.14优化器AdagradOptimizer的汇总结果分析原创 2017-11-24 18:43:29 · 375 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.23正则化损失的比重对模型正确率曲线的影响分析
总共执行10epoch包含500个batch,每个batch包含100个样本,所以training step=10*500=5000次。也就是说总共调用了5000次优化器的minimize函数。每隔50个批次进行一次记录。优化器选择RMSProbOptimizer(learning rate=0.001) #-*- coding:utf-8 -*-#实现简单卷积神经网络对MNIST数据集进行分类原创 2017-11-28 09:02:23 · 903 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.22为计算图中的非线性全连接层的权重添加L2损失
使用不同的L2权重损失系数观察网络的性能曲线变化首先在网络的非线性全连接层为权重加入L2正则化损失然后计算 总体损失 == 源自样本的经验损失(交叉熵损失) + 源自模型的正则化损失(权重的L2损失) 同时汇总多个不同的损失 总体损失 == 源自样本的经验损失(交叉熵损失) + ratio * 源自模型的正则化损失(权重的L2损失) 不断改变正则化损失在总体损失中的占比系数ratio,观察网原创 2017-11-27 18:48:20 · 932 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.21elu激活函数的输出汇总分析
4用于cifar10的卷积神经网络-4.21elu激活函数的输出汇总分析原创 2017-11-27 16:43:34 · 383 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.20relu, relu6和softplus激活函数的输出汇总分析
4用于cifar10的卷积神经网络-4.20relu, relu6和softplus激活函数的输出汇总分析原创 2017-11-27 15:06:16 · 2955 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.19tanh和softsign激活函数的输出汇总分析
4用于cifar10的卷积神经网络-4.19tanh和softsign激活函数的输出汇总分析原创 2017-11-27 15:04:26 · 655 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.18sigmoid激活函数的输出汇总分析
4用于cifar10的卷积神经网络-4.18sigmoid激活函数的输出汇总分析原创 2017-11-27 15:03:45 · 380 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.17cifar10卷积网络在不同激活函数下的性能分析
4用于cifar10的卷积神经网络-4.17cifar10卷积网络在不同激活函数下的性能分析参考论文:http://www.bioinf.jku.at/publications/2016/1511.07289v5.pdf总共执行6个epoch,每个epoch包含500个batch,每个batch包含100个样本,所以training step=6*500=3000次。也就是说总共调用了3000次优化原创 2017-11-27 09:24:43 · 374 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.10设计实验观察不同的优化器在不同的学习率下的网络性能
4用于cifar10的卷积神经网络-4.10设计实验观察不同的优化器在不同的学习率下的网络性能#-*- coding:utf-8 -*-#实现简单卷积神经网络对MNIST数据集进行分类:conv2d + activation + pool + fcimport csvimport tensorflow as tfimport osfrom tensorflow.examples.tutor原创 2017-11-24 11:12:08 · 483 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.16优化器AdamOptimizer的汇总结果分析
4用于cifar10的卷积神经网络-4.16优化器AdamOptimizer的汇总结果分析原创 2017-11-24 18:45:27 · 996 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.15优化器RMSProbOptimizer的汇总结果分析
4用于cifar10的卷积神经网络-4.15优化器RMSProbOptimizer的汇总结果分析原创 2017-11-24 18:44:02 · 376 阅读 · 0 评论 -
2卷积神经网络相关API详解-2.6TensorFlow之优化器API详解
优化器基类(Optimizer) Optimizer基类提供了用于计算损失函数梯度并将梯度应用到变量更新中取的方法。 TensorFlow实现了一系列经典的优化算法比如GradientDescent和Adagrad等,都继承了基类Optimizer。 使用优化器的时候,无须实例化Optimizer这个基类,但要实例化他的某个子类。class tf.train.Optimizer 这个类定义原创 2017-11-06 16:45:48 · 497 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.2/4.3cifar10卷积神经网络的计算图设计(上下)
代码如下:#-*- coding:utf-8 -*-#实现简单卷积神经网络对MNIST数据集进行分类:conv2d + activation + pool + fcimport csvimport tensorflow as tfimport osfrom tensorflow.examples.tutorials.mnist import input_dataos.environ['T原创 2017-11-14 17:53:11 · 321 阅读 · 0 评论 -
3用于MNIST的卷积神经网络-3.5用Excel绘制网络性能曲线
参考: http://www.studyai.com/course/play/075899ea16d5440d9f4f2142ce4576ce原创 2017-11-10 10:47:47 · 462 阅读 · 0 评论 -
3用于MNIST的卷积神经网络-3.4卷积滤波器核的数量与网络性能之间的关系
原文:http://www.studyai.com/article/23e45bc4b7d54e22 3.4卷积滤波器核的数量与网络性能之间的关系 代码:#-*- coding:utf-8 -*-#实现简单卷积神经网络对MNIST数据集进行分类:conv2d + activation + pool + fcimport csvimport tensorflow as tfimport o原创 2017-11-09 21:52:42 · 664 阅读 · 0 评论 -
3用于MNIST的卷积神经网络-3.3简单卷积神经网络的训练和评估会话
运行计算图加载数据集启动会话一轮一轮的训练模型 3.1在每一轮中分多个批次喂给数据 3.1.1在每个批次上运行训练节点,训练模型 3.1.2经过若干个批次以后,评估当前的模型,计算训练集合验证集上的损失值,准确率在测试集上评估最终的模型:损失值,准确率#3.1实现简单卷积神经网络对MNIST数据集进行分类:conv2d + activation + pool + fcimport原创 2017-11-07 20:05:57 · 587 阅读 · 0 评论 -
1TensorFlow实现自编码器-1.8为自编码器计算图添加标量,图像等汇总节点
#1.8为自编码器计算图添加标量,图像等汇总节点import numpy as npimport sklearn.preprocessing as prepimport tensorflow as tfimport matplotlib.pyplot as pltfrom tensorflow.examples.tutorials.mnist import input_dataimport原创 2017-10-31 19:54:50 · 335 阅读 · 0 评论 -
1TensorFlow实现自编码器-1.7TensorFlow实现双隐层自编码器-计算图并运行
# 1.7TensorFlow实现双隐层自编码器-计算图并运行import numpy as npimport sklearn.preprocessing as prepimport tensorflow as tfimport matplotlib.pyplot as pltfrom tensorflow.examples.tutorials.mnist import input_data原创 2017-10-31 17:53:04 · 360 阅读 · 0 评论 -
1TensorFlow实现自编码器-1.6TensorFlow实现单隐层自编码器-启动会话训练模型
# 1.6TensorFlow实现单隐层自编码器-启动会话训练模型import numpy as npimport sklearn.preprocessing as prepimport tensorflow as tfimport matplotlib.pyplot as pltfrom tensorflow.examples.tutorials.mnist import input_da原创 2017-10-31 10:59:02 · 451 阅读 · 0 评论 -
1TensorFlow实现自编码器-1.5 TensorFlow实现单隐层自编码器--计算图设计
#1.5 TensorFlow实现单隐层自编码器--计算图设计import numpy as npimport sklearn.preprocessing as prepimport tensorflow as tfimport matplotlib.pyplot as pltfrom tensorflow.examples.tutorials.mnist import input_data原创 2017-10-27 20:03:44 · 446 阅读 · 0 评论 -
3用于MNIST的卷积神经网络-3.1/3.2简单卷积神经网络的计算图设计(上/下)
一个简单的卷积神经网络 #3.1实现简单卷积神经网络对MNIST数据集进行分类:conv2d + activation + pool + fcimport csvimport tensorflow as tfimport osfrom tensorflow.examples.tutorials.mnist import input_dataos.environ['TF_CPP_MIN_L原创 2017-11-06 19:30:27 · 420 阅读 · 0 评论 -
1TensorFlow实现自编码器-1.4 TensorFlow实现降噪自动编码器--运行会话,训练模型
import numpy as npimport sklearn.preprocessing as prepimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataimport osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'# Xvaier均匀初始原创 2017-10-27 11:13:22 · 791 阅读 · 1 评论 -
1TensorFlow实现自编码器-1.1自动编码器基本原理
1TensorFlow实现自编码器-1.1自动编码器基本原理传统机器学习的瓶颈:传统机器学习任务很大程度上依赖于好的特征工程!特征工程往往是非常耗时耗力的!在图像、语音、视频中提取有效特征就更难了! 工程师必须在某种数据处理专业领域有很深的造诣!比如CV工程师,NLP工程师,语音处理工程师,量化交易工程师、……由人脑启发的深度机器学习 人脑的特征提取是怎样的呢?难道会为每种不同的数据准备一个特别原创 2017-09-06 16:57:41 · 765 阅读 · 0 评论 -
3用于MNIST的卷积神经网络-3.6改变网络激活函数观察网络性能的变化
原文: http://www.studyai.com/article/b3cd86028d4741e6首先来看看TensorFlow为我们提供的激活函数保持全连接层的激活函数不变,不断改变卷积层的激活函数,观察网络性能的变化(主要关注 收敛速度和最终的分类准确率)注意:在所有情况下,全连接层始终是一个线性输出层(Linear)不断修改激活函数: 保持卷积层的激活函数不变,不断改变全连接层的激活函原创 2017-11-10 10:56:14 · 752 阅读 · 1 评论 -
3用于MNIST的卷积神经网络-3.7学习率与权重初始化对网络性能的影响分析
原文:http://www.studyai.com/article/73a1d3b70458410e下面我们贴出使用AdamOptimizer优化器时不同的学习率下网络的性能曲线(关于详细分析,请大家到课程中心去听对应的分析)lr=0.0001lr=0.001 lr=0.01 lr=0.1(我们在这个学习率下运行四遍学习过程,由于网络每次的随机起始状态都不一样,所以会得到非常不一样的结果:有时原创 2017-11-10 15:32:43 · 819 阅读 · 0 评论 -
2卷积神经网络相关API详解-2.5TensorFlow之损失函数API详解
参考: http://www.tensorfly.cn/tfdoc/api_docs/python/nn.html#l2_loss http://www.cnblogs.com/lovephysics/p/7222488.html https://www.2cto.com/kf/201612/580565.html http://www.studyai.com/ http://www.te原创 2017-11-03 14:35:42 · 2741 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.25/4.26Tensorflow中的四种学习率衰减方法(上/下)
TensorFlow中的可变学习率1、exponential_decay指数式衰减: 功能:对输入学习率learning rate实现指数衰减。当我们训练一个模型的时候,经常需要根据训练过程的进展来逐渐降低学习率。上面的函数把一个指数衰减函数应用到初始学习率上以达到在训练过程中不断减少学习率。它需要一个“global step”值来计算衰减以后的学习率。你可以传入一个TensorFlow vari原创 2017-11-28 15:40:36 · 3946 阅读 · 0 评论 -
4用于cifar10的卷积神经网络-4.1用于cifar10的卷积神经网络结构设计
用于cifar10的卷积神经网络原创 2017-11-14 09:26:50 · 464 阅读 · 0 评论