使用tensorflow构建简单卷积神经网络

最新推荐文章于 2023-01-26 20:43:05 发布
最新推荐文章于 2023-01-26 20:43:05 发布
阅读量1.6k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kZeLC2TgRP/article/details/57083268
版权

一 概要

CIFAR-10分类问题是机器学习领域的一个通用基准，其问题是将32X32像素的RGB图像分类成10种类别:飞机，手机，鸟，猫，鹿，狗，青蛙，马，船和卡车。 
更多信息请移步CIFAR-10和Alex Krizhevsky的演讲报告

二 目标

本教程的目标是建立一个相对简单的CNN卷积神经网络用以识别图像。在此过程中，本教程:

  1. 高亮网络架构，训练和验证的典型组织。
  2. 为构建更大更复杂的模型提供模板。

选择 CIFAR-10的原因是其复杂程度足以训练tensorFlow拓展成超大模型能力的大部分。同时，于训练而言，此模型也足够小，这对于想实现新想法和尝试新技术堪称完美。

三 教程的高亮部分

CIFAR-10教程演示了使用TensorFlow构建更大更复杂模型几个重要结构：

  • 核心数学组件包括卷积,修正的线性激活,最大池化,LRN即局部响应一体化（AlexNet的论文3.3章）
  • 训练期间网络活动的可视化，包括输入图像、损失函数值、激活函数值和梯度的分布。
  • 计算学习参数的均线（moving average）的惯常做法，以及在评估期间使用这些均线来促进预测性能。
  • 随时间系统递减的学习速率清单的实现

  • 为消除从磁盘读取模型的延迟和代价极大的图像预处理的预取队列。

    我们同时提供了一个多GPU版本的模型演示：

    • 配置并行环境下跨多个GPU的训练的单个模型
    • 在多GPU中共享和更新变量 
      我们期望此教程能为基于TensorFlow的可视化任务创建更大CNNs模型提供起点。

四 模型架构

CIFAR-10教程中的模型是一个由可选的卷积和非线性层组成的多层架构。这些网络层之后是连接到一个softmax分类器的全连接的网络层。模型遵照Alxe Krizhevsky所描述的模型架设，只是最前面的几层有细微差别。 
此模型获得了一个极致的表现，在一个GPU上训练几个小时可以达到约86%的准确率。下文和代码部分有详细说明。模型由1068298个可学习的参数并且单张图片需要195000000个加乘操作以计算推理。

五 代码组织

此教程的代码位于 tensorflow/models/image/cifar10

文件 目标
cifar10_input.py 读取本地的CIFAR-10二进制文件
cifar10.py 创建CIFAR-10模型
cifar10_train.py 在CPU或者GPU上训练CIFAR-10模型
cifar10_multi_gpu_train.py 在多个GPU上训练CIFAR-10模型
cifar10_eval.py 评估CIFAR-10模型的预测性能

六 CIFAR-10 模型

CIFAR-10网络大部分代码在 cifar10.py。完整的训练图包括大概765个操作，我们发现通过使用以下模块来构建计算图，我们可以最大限度的重用代码:

  1. 模型输入: inputs() 和 distorted_inputs() 分别是评估和训练的读取并预处理CIFAR图像的加法操作
  2. 模型预测: inference()是推理加法操作，即在提供的图像中进行分类。
  3. 模型训练： loss() 和 train() 的加法操作是用来计算损失函数，梯度，变量更新和可视化摘要。

七 模型输入

模型的输入部分由从CIFAR-10的二进制文件读取函数 inputs()和distorted_inputs() 完成。这些文件包括固定字节长度的记录，因此我们使用tf.FixedLengthRecordReader 。查看读取数据来学习Reader class如何实现。 
图像将按照以下步骤进行处理：

  • 它们被裁减成24x24的像素，中央部分用来做评估或随机地用以训练。

  • 它们是 approximately whitened 用以使模型对动态变化不敏感。

    对于训练部分，我们会额外应用一系列随机扭曲来人为增加数据集：

  • 将图像随机的左右翻转随机翻转

  • 随机扰乱图像亮度随机亮度
  • 随机扰乱图像对比度随机对比度

在图像页可以查看可用的扭曲方法列表。为了在TensorBoard中可视化，我们也在图像中增加了一个 缩略图。这对于校验输入是否构建正确是个良好举措。 
缩略图 
从磁盘中读取图像并扰乱，可能会消耗不确定的时间。为防止这些操作拖慢训练过程，我们使用16个独立线程不断地从一个TensorFlow队列。

八 模型预测

模型的预测部分由inference()函数构建，该操作会添加其他操作以计算预测逻辑。模型的此部分组织如下：

网络层名称 描述
conv1 卷积和修正线性激活层
pool1 最大池化
norm1 局部响应一体化
conv2 卷积和修正线性激活层
norm2 局部响应一体化
pool2 最大池化
local3 使用修正线性激活的全连接层
local4 使用修正线性激活的全连接层
softmax_linear 线性转换以产生logits

下图由TensorBoard生成用以描述推理操作 
推理操作

input()和inference() 函数提供了在模型上进行评估的全部所需组件。我们先将注意力移到训练模型。

九 模型训练

训练一个完成N类分类的网络的常用方法是多项式logstic回归,aka.softmax回归。softmax回归在网络输出上应用一个softmax非线性函数并计算标准预测和标签的1-hot编码的交叉熵。我们也将通常使用的权值衰减损益应用到所有学习变量上来完成正则化。 模型的目标函数是交叉熵损失之和，以及由 loss()函数返回的权值衰减项。 
我们在TensorBoard使用scalar_summary对其可视化： 
loss 
我们使用标准的梯度下降算法（见对其他算法的训练方法），其学习速率随时间指数递减。 
lr_decry

train()函数添加必要的操作通过计算梯度和更新学习变量（详见GradientDescentOptimizer）以最小化目标变量。 
该函数返回一个执行所有的训练和更新一批图像所需的计算操作。

十 运行和训练模型

通过运行脚本cifar10_train.py训练操作 

Python cifar10_train.py 

注意：首次运行该脚本时，CIFAR-10数据集会被自动下载。数据集大小为 160MB

如果成功，你将会看到如下输出:

  Filling queue with 20000 CIFAR images before starting to train. This will take a few minutes.
  2015-11-04 11:45:45.927302: step 0, loss = 4.68 (2.0 examples/sec; 64.221 sec/batch)
  2015-11-04 11:45:49.133065: step 10, loss = 4.66 (533.8 examples/sec; 0.240 sec/batch)
  2015-11-04 11:45:51.397710: step 20, loss = 4.64 (597.4 examples/sec; 0.214 sec/batch)
  2015-11-04 11:45:54.446850: step 30, loss = 4.62 (391.0 examples/sec; 0.327 sec/batch)
  2015-11-04 11:45:57.152676: step 40, loss = 4.61 (430.2 examples/sec; 0.298 sec/batch)
  2015-11-04 11:46:00.437717: step 50, loss = 4.59 (406.4 examples/sec; 0.315 sec/batch)
  ...
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

脚本每运行10次输出一次总的损失函数值。注意：

  • 第一批数据可能会相当慢（例如：几分钟），因为预处理线程会将20万张处理过的图像数据填充混洗队列。
  • 输出的损失函数值是最近一批数据的均值，要记得损失函数值是 交叉熵和权值递减项的总和。

  • 密切关注批处理速度，以上数据由 Tesla K40c机器上输出，如果在CPU上运行可能会输出比这个更低的速率。

    cifar10_train会定期保存所有的模型参数到checkpoint files，但是它并不评估模型。checkpoint files将会被用于cifar10_eval.py来衡量预测性能。见下文的评估模型

    脚本cifar10_train.py的终端输出的文本只提供了模型如何训练的最小视角。我们可能需要更多的信息：

  • 损失函数值真的在递减吗？还是说只是噪声

  • 模型的输入训练图像是否合适？
  • 其梯度，激活函数，权值是否合理？

  • 当前的学习速率？

    TensorBoard 提供了此类函数，展示了脚本cifar10_train.py通过SummaryWriter阶段性输出的数据。 
    比如说，我们可以查看激活函数分布和训练过程中local3特性的稀疏度。 
    cifar_sparsity

    损失函数值会随着时间呈现，但是由于训练过程中某些批量数据量过小而出现一些噪音数据。实际情况中，我们发现可视化原生数据之外的均线(moving averages)很有用。可以通过脚本ExponentialMovingAverage查看。

十一 评估模型

接下来，我们需要评估我们的训练模型在hold-out数据集上的性能。模型由脚本cifar10_eval.py评估。它由inference()函数构建模型，并使用cifar-10数据集中的10000张图像。它会计算图像的真实标签的最高预测匹配的频率。 
为观察模型如何逐步在训练过程提高，评估脚本会阶段性地运行由cifar10_train.py脚本创建的checkpoint files。

python cifar10_eval.py

注意:不要在相同的GPU上运行训练和评估，否则会出现内存不足错误。可以考虑在分开的GPU上运行，或者在运行评估程序时挂起训练程序

你将会看到如下输出： 

2015-11-06 08:30:44.391206: precision @ 1 = 0.860 
... 

脚本极少情况下会返回精确度为precision @ 1 ，当前这个例子返回的是86%的准确率。cifar10_eval.py也会导出一些可以在TensorBoard里可视化的概要信息。 
训练脚本计算所有的学习参数的变动均值(moving average version)。评估脚本则用变动均值(moving average version)替换所有的学习的模型参数，这些替换将有益于模型评估时的性能。

十二 使用多GPU训练模型

在分布式并行环境下训练模型需要一致的训练过程。接下来，我们将模型副本分配到训练数据集的每个子集上。 
简单地运行异步更新模型参数将导致局部最优化，这是因为单个模型的副本可能会在过时的模型参数上进行训练了。反过来说，完全的同步更新将会使整个过程与最慢的模型副本一样慢。 
工作站中的多GPU一般有相似的速度和内存。因此，我们按照如下步骤设计训练系统:

  • 每个GPU上放一份独立的模型副本。

  • 通过等待所有的GPU完成某一批数据的处理来同步更新模型参数。

    如下是模型的数据图: 
    Parallelism
    注意到，每个GPU都会计算一份独一无二的数据的inference和梯度。这样的设置将极有效地在多GPU之间划分一个大批量数据。 
    这样的设置需要所有的GPU共享模型参数。众所周知，从GPU传输数据或者传输数据到GPU都相当慢。因此，我们决定在CPU上存储和更新所有的模型参数(见绿色盒图)。只有当一批数据已经被所有GPU处理之后，一份新的模型参数才会被传输到GPU。 
    GPU在操作上是同步的，所有的来自各个GPU的梯度都会被累加和均值化。模型参数会被所有模型的梯度均值更新。

十三 在设备上放置变量和操作

在设备上放置操作和变量需要一些特殊抽象。 
第一个抽象是我们需要一个函数来计算模型的单个副本的inference和梯度。在代码中，我们将这种抽象标为tower。我们必须为每个tower设置两个参数。

  • 一个tower内所有的操作都需要一个独一无二的名字。tf.name_scope()通过前置范围的形式提供了方法。比如说，第一个tower,tower_0内的所有操作都会有一个前置 tower_0/conv1/Conv2D。

  • 某个tower的首选硬件设备。tf.device()可以来指定。比如说，第一个tower的所有的操作使用范围device(‘/gpu:0’) 指明其应当在第一颗GPU上运行。

    所有的变量都会被固定到CPU，并且可以通过tf.get_variable()在多GPU之间共享。关于如何共享变量请见下文。

十四 在多GPU上运行和训练模型

对于有多颗GPU的机器，使用cifar10_multi_gpu_train.py脚本将会更快的训练模型。次代码在多颗GPU之间并行训练模型。

python cifar10_multi_gpu_train.py --num_gpus=2

GPU数量默认为1.

kZeLC2TgRP
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Tensorflow实现一个简单的卷积神经网络
u012113559的博客
08-04 721
今天对照Tensorflow的书，实现了一个简单的卷积神经网络。基于MNIST数据集。 在神经网络还未出现之前，在处理图像的问题上都是使用的特征工程（如SIFT）。特征工程是有局限性的。CNN被用于图像处理，不需要将特征提取和分类训练两个过程分开，它在训练时就自动提取了最有效的特征。 卷积神经网络由多个卷积层构成，每个卷积层通常会进行如下操作： 1. 使用多个卷积核进行滤波，并加bias，提...
tensorflow实现简单卷积神经网络
cy_believ的博客
11-24 124
from tensorflow.examples.tutorials.mnist import input_data import tensorflow as tf mnist = input_data.read_data_sets("MNIST_data/", one_hot = True) sess = tf.InteractiveSession() def weight_variable(...
卷积神经网络初探(四)用tensorflow搭建卷积模型
He_YI的博客
05-13 395
以识别手语数字为例，创建卷积网络模型 导入相应模块 import math import numpy as np import h5py import matplotlib.pyplot as plt import scipy from PIL import Image from scipy import ndimage import tensorflow as tf from tensorflo...
神经网络-使用tensorflow搭建简易卷积神经网络
dsn0606的博客
08-16 634
基本的卷积神经网络包含卷积层、池化层、全连接层组成。卷积神经网络比较详细的介绍参见博客：CNN笔记：通俗理解卷积神经网络、卷积神经网络超详细介绍、卷积神经网络概述。 卷积网络的好处主要是可以减少参数数量从而降低网络的计算量，同时有助于与防止过拟合，它还可以让网络的鲁棒性更高。 使用tensorflow搭建一个双层的卷积神经网络，网络结构为 ...
毕业设计-Python基于TensorFlow深度学习卷积神经网络自动识别网站验证码设计与实现
06-24
“基于深度网络的网站验证码识别研究与实现”：主要是利用卷积神经网络，基于TensorFlow平台，构建了三层卷积两层全联接模型，训练出的一个准确率为91.3%的识别模型。再基于Django构建登陆系统，使用selenium实现...
python3使用tensorflow构建CNN卷积神经网络识别性别
04-13
在本文中，我们将深入探讨如何使用Python3和TensorFlow库构建一个CNN（卷积神经网络）来实现性别识别。性别识别是一项计算机视觉任务，通过分析面部特征或图像中的其他线索来判断一个人的性别。TensorFlow是一个强大...
使用tensorflow构建卷积神经网络（CNN）.zip
07-09
tensorflow为手写字符推荐的算法就是卷积神经网络，模型识别率高达99.6% 卷积神经网络原理 神经网络 含有隐含层的神经网络 卷积神经网络 使用python代码实现卷积神经网络 详细介绍参考：...
Tensorflow卷积神经网络实例进阶
09-20
TensorFlow 是一个开源的机器...通过上述知识点的学习，可以了解到在TensorFlow环境下如何构建一个进阶的卷积神经网络模型，并对图像数据集进行训练和评估。这些知识对于理解深度学习模型的构建和应用具有重要的意义。
深度学习入门示例之使用TensorFlow实现CNN卷积神经网络.zip
最新发布
05-10
在本示例中，我们将深入探讨如何使用TensorFlow这一强大的深度学习框架来实现一个卷积神经网络（CNN）。TensorFlow是由谷歌开发的开源库，广泛应用于机器学习和深度学习的各种任务。 卷积神经网络（CNN）是深度学习...
voc_eval.py
05-09
利用python计算darknet中yolo中的mAP值，此模块用用与加载的模块
tensorflow实现卷积网络
smallworldxyl的博客
09-15 216
import tensorflow as tf import os import numpy as np from matplotlib import pyplot as plt from tensorflow.keras.layers import Conv2D, BatchNormalization, Activation, MaxPool2D, Dropout, Flatten, Dense from tensorflow.keras import Model np.set_printoptions
Tensorflow实战5：实现简单的卷积神经网络
Felaim的博客
03-30 9626
1.卷积神经网络简介 卷积神经网络（convolutional neural network, CNN），最早是19世纪60年代，生物学家对猫视觉皮层研究发现：每个视觉神经元只会处理一小块区域是视觉图像，即感受野。后来到了80年代，日本科学家提出了神经认知机（Neocognitron）的概念，也可以算作是卷积神经网络最初的实现原型，在CS231n的课上说过，卷积神经网络不是一夜产生的，从这个发展过
从零开始用TensorFlow搭建卷积神经网络
周红伟讲AI
09-04 5233
 https://www.jiqizhixin.com/articles/2017-08-29-14 机器之心GitHub项目：从零开始用TensorFlow搭建卷积神经网络 By 蒋思源2017年8月29日 14:50 机器之心基于 Ahmet Taspinar 的博文使用 TensorFlow 手动搭建卷积神经网络，并提供所有代码和注释的 Jupyter Notebook
Tensorflow深度学习之二：简单卷积神经网络CNN
DaVinciL的博客
07-16 1953
Tensorflow 深度学习代码。 使用的时候tensorflow自带的源码教程，利用简单的卷积神经网络CNN，对手写数字进行简单分类。from tensorflow.examples.tutorials.mnist import input_data import tensorflow as tf mnist = input_data.read_data_sets("MNIST_data/",
基于 Tensorflow 构建卷机网络（CNN）进行图像分类的教程（附完整版代码 可作为毕设）
机器学习深度学习业余选手
01-26 628
基于 Tensorflow 构建卷机网络（CNN）进行图像分类的教程（附完整版代码 可作为毕设）
目标物检测object_detection中评估程序eval.py的使用(暂时失败了！)
weixin_44345862的博客
05-21 1175
metric文件夹内部关联的程序需要用到pycocotools文件夹，评估运行时一直提醒缺这个。。。，然后发现coco数据集使用还需要安装COCO API。不过训练目标物用不到，要不是我想用eval.py试试，根本用不到这东西。必经我只用了coco模型，没有用任何coco数据集数据。 听说windows 下很麻烦，并且bazel也无法使用，所以如果搞人工智能还是放弃windows吧。 在 Linu...
TensorFlow教程之完整教程 2.6 卷积神经网络
weixin_33907511的博客
08-22 561
本文档为TensorFlow参考文档，本转载已得到TensorFlow中文社区授权。 卷积神经网络 注意:本教程适用于对Tensorflow有丰富经验的用户，并假定用户有机器学习相关领域的专业知识和经验。 概述 对CIFAR-10 数据集的分类是机器学习中一个公开的基准测试问题，其任务是对一组32x32RGB的图像进行分类，这些图像涵盖了10...
Tensorflow实现一个完整的卷积神经网络
热门推荐
Microstrong
05-18 3万+
（一）卷积神经网络结构+最终的识别精度。用Tensorflow实现一个完整的卷积神经网络，用这个卷积神经网络来识别手写数字数据集（MNIST）。我们先来看看实现的卷积神经网络结构如下图所示：接着，我们再来看看实现的这个卷积神经网络，在MNIST数据集中的测试集上的精度。我用了两种优化训练方法，对模型训练了1000次，在训练1000的过程中，每隔50次进行一次模型的精度测试。（1）批量梯度下降法（B...
使用tensorflow写个卷积神经网络的代码
08-17
### 回答1： 可以使用TensorFlow来构建卷积神经网络，代码示例如下：import tensorflow as tf# 定义输入层 inputs = tf.placeholder(tf.float32, shape=[None, 28, 28, 1])# 定义卷积层 conv1 = tf.layers.conv2d(inputs, 32, (5, 5), padding='same', activation=tf.nn.relu)# 定义池化层 pool1 = tf.layers.max_pooling2d(conv1, (2, 2), (2, 2))# 定义全连接层 fc1 = tf.layers.dense(pool1, 1024)# 定义激活函数 out = tf.nn.softmax(fc1) ### 回答2： 使用TensorFlow编写卷积神经网络的代码如下所示： ``` import tensorflow as tf from tensorflow.keras import layers # 构建卷积神经网络模型 model = tf.keras.Sequential() model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1))) model.add(layers.MaxPooling2D((2, 2))) model.add(layers.Conv2D(64, (3, 3), activation='relu')) model.add(layers.MaxPooling2D((2, 2))) model.add(layers.Conv2D(64, (3, 3), activation='relu')) # 添加全连接层和输出层 model.add(layers.Flatten()) model.add(layers.Dense(64, activation='relu')) model.add(layers.Dense(10, activation='softmax')) # 编译模型并设置损失函数、优化器和评估指标 model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) # 加载并预处理数据 (x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data() x_train = x_train.reshape((60000, 28, 28, 1)) / 255.0 x_test = x_test.reshape((10000, 28, 28, 1)) / 255.0 # 训练模型 model.fit(x_train, y_train, epochs=5, batch_size=64, validation_data=(x_test, y_test)) ``` 上述代码使用TensorFlow的Keras API构建了一个简单的卷积神经网络模型，该模型包括多个卷积层、池化层和全连接层，并使用MNIST手写数字数据集进行训练和评估。在代码中，我们首先定义了一个Sequential模型，然后添加了卷积、池化、全连接和输出层。接下来，我们指定了损失函数、优化器和评估指标，并使用编译方法将它们与模型绑定。最后，我们加载训练集和测试集数据，并使用fit方法对模型进行训练。 ### 回答3： import tensorflow as tf # 定义模型 def cnn_model(x): # 将输入转化为4D张量，[batch_size, width, height, channels] x_img = tf.reshape(x, [-1, 28, 28, 1]) # 第一层卷积层 conv1 = tf.layers.conv2d(inputs=x_img, filters=32, kernel_size=[5, 5], padding="same", activation=tf.nn.relu) # 第一层池化层 pool1 = tf.layers.max_pooling2d(inputs=conv1, pool_size=[2, 2], strides=2) # 第二层卷积层 conv2 = tf.layers.conv2d(inputs=pool1, filters=64, kernel_size=[5, 5], padding="same", activation=tf.nn.relu) # 第二层池化层 pool2 = tf.layers.max_pooling2d(inputs=conv2, pool_size=[2, 2], strides=2) # 将特征图展平为2D张量 pool2_flat = tf.reshape(pool2, [-1, 7 * 7 * 64]) # 全连接层 dense = tf.layers.dense(inputs=pool2_flat, units=1024, activation=tf.nn.relu) # Dropout层，用于防止过拟合 dropout = tf.layers.dropout(inputs=dense, rate=0.4) # 输出层 logits = tf.layers.dense(inputs=dropout, units=10) return logits # 创建输入占位符 x = tf.placeholder(tf.float32, [None, 784]) y_true = tf.placeholder(tf.float32, [None, 10]) # 构建模型 logits = cnn_model(x) # 定义损失函数 loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=logits)) # 定义优化器 optimizer = tf.train.AdamOptimizer(learning_rate=0.001) train_op = optimizer.minimize(loss) # 创建会话并训练模型 with tf.Session() as sess: sess.run(tf.global_variables_initializer()) # 执行训练 for i in range(1000): sess.run(train_op, feed_dict={x: train_data, y_true: train_labels}) # 在测试集上进行预测 test_logits = sess.run(logits, feed_dict={x: test_data}) test_predictions = tf.argmax(test_logits, axis=1).eval() # 打印预测结果 print(test_predictions)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值