TensorFlow与CNN

最新推荐文章于 2024-04-15 22:03:47 发布
最新推荐文章于 2024-04-15 22:03:47 发布
阅读量1.9k 收藏 15
点赞数 5
分类专栏： 笔记 学习 文章标签： tensorflow 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43574471/article/details/115876220
版权

TensorFlow

一、TensorFlow基础

TensorFlow 使用 张量（Tensor） 作为基本数据单位。
相当于多维数组，可描述数学中的 标量 （0维数组）， 向量（1维数组） ， 矩阵（2维数组）

# 定义一个随机数（标量）
random_float = tf.random.uniform(shape=())

# 定义一个有2个元素的零向量
zero_vector = tf.zeros(shape=(2))

# 定义两个2×2的常量矩阵
A = tf.constant([[1., 2.], [3., 4.]])
B = tf.constant([[5., 6.], [7., 8.]])
  • 张量 中的重要属性
    • shape(): 形状
    • dtpye(): 类型， 一般默认tf.float32
    • numpy(): 值
# 查看矩阵A的形状、类型和值
print(A.shape)      # 输出(2, 2)，即矩阵的长和宽均为2
print(A.dtype)      # 输出<dtype: 'float32'>
print(A.numpy())    # 输出[[1. 2.]
                    #      [3. 4.]]

自动求导

引入tf.GradientTape()可实现自动求导

TensorFlow 的图像数据表示

在 TensorFlow 中，图像数据集的一种典型表示是[图像数目，长，宽，色彩通道数] 的四维张量。灰度图片色彩通道数为 1(可用np.expand_dims() 函数为图像数据手动在最后添加一维通道。),彩色 RGB 图像色彩通道数为 3.

二、TensorFlow模型建立与训练

  • 模型构建： tf.keras.Model 和 tf.kears.layers
  • 模型的损失函数： tf.keras/losses
  • 模型的优化器： tf.keras.optimizer
  • 模型的评估： tf.keras.metrics

1. 模型(Model)与层(Layer)

构造模型时， 一般使用Keras，Keras :是基于 Python 的深度学习库，有两个重要的概念模型(Model)与层(Layer)， 层封装了各种计算流程和变量， 如：全连接层， 卷积层，池化层； 模型则将各层连接起来， 描述了如何将输入数据通过各种层以及运算而得到输出。

自定义模型

可以通过继承tf.keras.Model类来定义自己的模型， 需要重写__init__()和call(input)两个方法。

class MyModel(tf.keras.Model):
    def __init__(self):
        super().__init__()    
        # 此处添加初始化代码（包含 call 方法中会用到的层），例如
        # layer1 = tf.keras.layers.BuiltInLayer(...)
        # layer2 = MyCustomLayer(...)

    def call(self, input):
        # 此处添加模型调用的代码（处理输入并返回输出），例如
        # x = layer1(input)
        # output = layer2(x)
        return output

    # 还可以添加自定义的方法

在这里插入图片描述

三、卷积神经网络（CNN）

卷积神经网络（Convolutional Neural Network）是一种结构类似于动物视觉系统的人工神经网络，包括一个或多个卷积层(Convolutional Layer)， 池化层(Pooling Layer)和全连接层(Fully-connected Layer)

卷积层(Convolutional Layer)

tf.keras.layers.Conv2D
卷积层用卷积核来提取特征, 卷积核是一个矩阵。

在这里插入图片描述
从左上角开始，卷积核就对应着数据的3*3的矩阵范围，然后相乘再相加得出一个值。按照这种顺序，每隔一个像素就操作一次，我们就可以得出9个值。这九个值形成的矩阵被我们称作激活映射（Activation map)。

输入的图像一般为三维，即含有R、G、B三个通道。但其实经过一个卷积核之后，三维会变成一维。它在一整个屏幕滑动的时候，其实会把三个通道的值都累加起来，最终只是输出一个一维矩阵。

在这里插入图片描述

而多个卷积核(一个卷积层的卷积核数目是自己确定的）滑动之后形成的Activation Map堆叠起来，再经过一个激活函数就是一个卷积层的输出了。在这里插入图片描述

池化层 (pooling layer)

池化层的目的是降低参数，而降低参数的方法当然也只有删除参数了。
一般我们有最大池化和平均池化。池化层一般放在卷积层后面。所以池化层池化的是卷积层的输出！在这里插入图片描述

全连接层(Fully-connected Layer)

tf.keras.layer.Dense
全连接层是Keras 中最基础和最常用的层，其作用是对输入矩阵A 进行f(WA+b) 的线性变换+激活函数的操作（W*A+b为线性变换， f(x) 为激活函数）。若不指定激活函数，则视为只对输入矩阵进行线性变换。

对于输入张量input = [batch_size, input_dim], （batch_size:一次训练所选取的样本数; input_dim: 输入数据的维度)， 全连接层首先对输入的张量进行tf.matmul(input, kernel) + bias的线性变换（kernel和bias是层中可训练的变量，kernel是权重矩阵， bias是偏置向量）， 然后将变换后的张量的每个元素通过激活函数activation， 从而输出形状为
[batch_size, units]的二维张量（units输出张量的维度）。

四、简单网络

1、数据预处理

将数据图片数据输入到神经网络中，需要将数据格式化为经过处理的浮点数张量。已输入为JPEG格式的图片为例，处理步骤为：

1、读取图片文件
2、将图片解码为RGB像素网络或灰度网络
3、将像素网络转换为浮点数张量
4、将像素(0~255)缩放到[0, 1]，便于神经网络处理

（1）读取图片文件
def read_image(paths):
    filelist = []
    for root, dirs, files in os.walk(paths):
        for file in files:
            if os.path.splitext(file)[1] == ".jpg":
                filelist.append(os.path.join(root, file))  #路径拼接
    return filelist
（2）将图片解码为RGB像素网络或灰度网络
from PIL import Image
im=Image.open(filename)  #加载图片
im = im.resize((128, 128))# 修改图像大小为128*128
im_L=im.convert("RGB")        # 模式RGB

用PIL中的Image对图片进行处理，convert()方法是图像实例对象的一个方法，接受一个 mode 参数，用以指定一种色彩模式

mode的可选的值及其意义
这里是引用

（3）、（4）将像素网络转换为浮点数张量并缩放到[0, 1]
Core=im_L.getdata()     # 返回图像模式
arr1=np.array(Core,dtype='float32')/255.0   # 缩放到【0，1】

2、数据增强

在进行学习的时候，如果样本数量过少，则会出现过拟合，导致无法训练出能够泛化到新数据的模型。
数据增强是从现有的训练样本中生成更多的训练数据，其方法是利用多种能够生成可信图像的随机变换(旋转，加入噪声，仿射变换)来增加（augment）样本。其目标是，模型在训练时不会两次查看完全相同的图像。这让模型能够观察到数据的更多内容，从而具有更好的泛化能力。
但是在深度学习的模型训练中，数据增强不能喧宾夺主，如果对每一张图片都加入高斯模糊的话实际上是毁坏了原来数据的特征。

python中常见的数据增强库，imgaug
首先读取二维的图像数据，记为images，images应该有四个维度，分别为（N,height,weidth,channels）就是图像数量，图像高度，图像宽度，图像的通道（RGB）。如果是灰度图的话，则channels为1。数据必须是uint8类型，大小在0到255之间。有了这个准备我们就可以对images中的图像数据进行增强了。

from imgaug import augmenters as iaa #引入数据增强的包

seq = iaa.Sequential([         #建立一个名为seq的实例，定义增强方法，用于增强
    iaa.Crop(px=(0, 16)),     #对图像进行截取操作，随机在距离边缘的0到16像素中选择截取范围
    iaa.Fliplr(0.5),     #对百分之五十的图像进行做左右翻转
    iaa.GaussianBlur((0, 1.0))     #在模型上使用0均值1方差进行高斯模糊
])

images_aug = seq.augment_images(images)    #应用数据增强

如果你使用数据增强来训练一个新网络，那么网络将不会两次看到同样的输入。但网络看到的输入仍然是高度相关的，因为这些输入都来自于少量的原始图像。你无法生成新信息，而只能混合现有信息。因此，这种方法可能不足以完全消除过拟合。为了进一步降低过拟合，你还需要向模型中添加一个dropout层，添加到密集连接分类器之前。

3、构建网络

from tensorflow.keras import layers, models
model = models.Sequential()
model.add(
        layers.Conv2D(filters=32,  # 卷积核的数目（即输出的维度）
                      kernel_size=(2, 2), # 卷积核的宽度和长度。如为单个整数，则表示在各个空间维度的相同长度
                      strides=1,  # 为卷积的步长。如为单个整数，则表示在各个空间维度的相同步长。
                      activation='relu', # 激活函数
                      padding='same',  # 补0策略，为“valid”, “same” 。
                      input_shape=(128, 128, 3)))  # 张量输入
model.add(layers.MaxPooling2D((2, 2)))  # 池化层

model.add(
   layers.Conv2D(64, (2, 2), 1, activation='relu', padding='same'))
model.add(layers.MaxPooling2D((2, 2)))  # 池化层

model.add(
   layers.Conv2D(128, (2, 2), 1, activation='relu', padding='same'))
model.add(layers.MaxPooling2D((2, 2)))  # 池化层

model.add(layers.Flatten())  # 降维
model.add(layers.Dropout(0.5))  # dropout层
model.add(layers.Dense(128, activation='relu'))
model.add(layers.Dense(len(dict_label), activation='softmax'))  # 注意这里参数，我只有两类图片，所以是2.
model.summary()  # 显示模型的架构
model.compile(optimizer='adam',
             loss='sparse_categorical_crossentropy',
             metrics=['accuracy'])
4、保存模型

简单粗暴 TensorFlow 2： https://tf.wiki/zh_hans/basic/models.html
batch_size： https://blog.csdn.net/qq_34886403/article/details/82558399
卷积层与池化层：https://blog.csdn.net/weixin_41417982/article/details/81412076
Python深度学习（在小型数据集上从头开始训练一个卷积神经网络）–学习笔记（十）:https://blog.csdn.net/xiekengli8279/article/details/109583035

尼古拉斯怪帅气
关注
  • 5
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
基于tensorflow实现CNN的简单实例
03-10
1、资源内容：基于tensorflow实现CNN的简单实例 2、适用人群：计算机，电子信息工程、数学等专业的学习者，作为“参考资料”参考学习使用。 3、解压说明：本资源需要电脑端使用WinRAR、7zip等解压工具进行解压，没有解压工具的自行百度下载即可。
基于tensorflow、CNN网络的花卉种类识别
01-15
花卉图像识别项目，基于 tensorflow，现有的 CNN 网络可以识别四种花的种类。适合新手对使用 tensorflow进行一个完整的图像识别过程有一个大致轮廓。项目包括对数据集的处理，从硬盘读取数据，CNN 网络的定义，训练过程，还实现了一个 GUI界面用于使用训练好的网络。
带有TensorFlow的CNN
03-02
具有TensorFlow和转移学习的卷积神经网络（CNN） 基本CNN的混淆矩阵---------------------带有转移学习的CNN混淆矩阵 项目范围 使用图像数据集制作两个不同的CNN模型，例如基本的CNN模型和具有转移学习的CNN模型，并研究转移学习对CNN模型的性能的影响。 介绍 在本研讨会中，我将向您展示如何在有/没有转移学习和Inception的情况下构建卷积神经网络（CNN）。 我将使用对神经网络特别感兴趣的“ Kagglers”中非常有名的。 数据集由5种不同类别的图像数量组成。 照片的尺寸为150x150x3，这意味着每张照片具有67,500个特征（像素）。 数据集还包括训练集和测试集。 火车组尺寸为（14034x67500），这意味着火车组中有14034张不同的照片，而测试组尺寸为（3000x67500）。 我从开始计算Inception模型的权重。 指标：我
基于Tensorflow搭建卷积神经网络CNN（人脸识别）保姆及级教程
qq_34184505的博客
04-10 4006
TensorFlow2.X 搭建卷积神经网络（CNN），实现人脸识别（可以识别自己的人脸哦！搭建的卷积神经网络是类似VGG的结构(卷积层与池化层反复堆叠，然后经过全连接层，最后用softmax映射为每个类别的概率，概率最大的即为识别结果)。
从理论到实践，手把手教你如何用 TensorFlow 实现 CNN
arag2009的学习专栏
05-10 3360
一、CNN的引入 在人工的全连接神经网络中，每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时，这时全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢，例如一张黑白的 28×28 的手写数字图片，输入层的神经元就有784个，如下图所示：  若在中间只使用一层隐藏层，参数 w 就有 784×15=11760 多个；若输入的是28×28 带有颜色的R
Tensorflow实现CNN
_天涯__的博客
12-22 3507
原理步骤 定义变量 => 搭建网络 => 选定优化目标 => 如何达到目标 => 启动 => 做记录/看效果 定义变量是为了承载网络的输入，tf 里面，可以是 Variable，也可以是 Placeholder，两者的区别是，在开始训练网络时，后者需要你喂给它数据，也就是在 run 的时候都需要加一个 feed_dict = {} 来指定一下输入的数据。 搭建网络比较直接，通过一些 api 就可以构建了。 选定优化...
卷积神经网络 (CNN) 与 TensorFlow 教程Convolutional Neural Networks (CNN) with TensorFlow Tutorial
wly476923083的博客
05-30 729
这是通过应用一些聚合操作来完成的，这些操作减少了特征映射（卷积矩阵）的维度，从而减少了训练网络时使用的内存。CNN 的架构试图模仿由多层组成的人类视觉系统中的神经元结构，其中每一层都负责检测数据中的特定特征。内核的每个元素的权重在网格中表示。将 summary() 函数应用于模型后，我们对模型的架构进行了全面的总结，其中包含有关每一层、其类型、输出形状和可训练参数总数的信息。在卷积层中，应用了几个大小相等的过滤器，每个过滤器用于从图像中识别特定的图案，例如数字的弯曲、边缘、数字的整体形状等。
Tensorflow的CNN教程解析
eeeeety6208的博客
11-04 716
最近，对物体识别的研究开发了RCNN框架，可见在深度学习发展迅猛的今天，CNN框架依然是很多著名研究小组的课题，特别是在了解了Alpha-Go的运作里也可以看到CNN的身影，可见其能力！但是，聪明的读者朋友一定能想到，如果一张关于飞机的图片是以飞机头为图片中心的，而训练集合里所有的飞机图片都是以机翼为图片中心的话，我们之前的distorded_inputs函数将有机会截取飞机头的区域，从而给我们的测试图片提供相似信息。# 由于之前的输出是64个channel，即我们这里的输入，我们的shape就会。
TensorFlow实战：Chapter-3（CNN-1-卷积神经网络简介）
热门推荐
DFan的NoteBook
07-19 2万+
卷积神经网络简介 CNN的提出 CNN的壮大 卷积神经网络结构 卷积神经网络的常见网络结构 卷积 信号处理中的卷积 图像处理中的卷积 卷积的类型的参数 卷积层 卷积层原理 卷积层算法 卷积层特点 权值共享 多卷积核 池化层 池化层原理 池化层算法 池化层特点 池化单元的平移不变性 显著减少参数数量 TensorFlow中的CNN 卷积 strides参数 padding参数 tfnnconv2d t
Python TensorFlow，卷积神经网络(CNN)，手动实现卷积神经网络
houyanhua1的专栏
03-07 3423
普通的深层神经网络，层与层之间通过全连接进行稠密矩阵运算，矩阵中的权重系数比较多(参数多)，影响效率且容易出现过拟合。 卷积神经网络的结构：卷积层、激活函数、池化层、全连接层。 卷积层：将原始图片通过Filter(过滤器，权重矩阵，卷积核，观察窗口)，分割出局部信息，过滤器经过多次平移取样(步长)形成一个个局部信息然后组成卷积层，卷积层中的每一个单位点对应前面层的局部信息。（卷积的意义：一个点...
用tensorflow搭建CNN的方法
09-20
本篇文章主要介绍了用tensorflow搭建CNN的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Tensorflow-CNN-Tutorial-master.zip
04-14
这是基于CNN和TensorFlow的分裂学习代码，适合初学及其机器学习的使用，希望对大家有帮助，有需要的自取。
Tensorflow之卷积神经网络（CNN）
zmjames2000 Just record
03-04 1325
come from :https://www.cnblogs.com/lizheng114/p/7498328.html 前馈神经网络的弊端 前一篇文章介绍过MNIST，是采用的前馈神经网络的结构，这种结构有一个很大的弊端，就是提供的样本必须面面俱到，否则就容易出现预测失败。如下图： 同样是在一个图片中找圆形，如果左边为训练样本，右边为测试样本，如果只训练了左边的情况，右边的一定会预测...
TensorFlow框架(4)之CNN卷积神经网络详解
a567676的博客
08-31 742
1. 卷积神经网络 1.1 多层前馈神经网络 　　多层前馈神经网络是指在多层的神经网络中，每层神经元与下一层神经元完全互连，神经元之间不存在同层连接，也不存在跨层连接的情况，如图 11所示。 图 11 对于上图中隐藏层的第j个神经元的输出可以表示为： 其中，f是激活函数，bj为每个神经元的偏置。 1.2 卷积神经网络 1.2.1 网络结构 　　卷积神经网...
【TensorFlow】笔记４：图像识别与CNN
盛夏光年
03-20 2691
文章目录一、图像识别＆经典数据集1、Cifar数据集2、 ImageNet二、CNN三、卷积神经网络常用结构1、卷积层 一、图像识别＆经典数据集 图像识别：希望借助计算机程序来处理、分析和理解图片中的内容，使得计算机可以从图片中自动识别各种不同模式的目标和对象。 1、Cifar数据集 Cifar-10：10种不同种类的60000张图像，像素大小为32*32的彩色图像 Cifar-100：20 个大...
基于Tensorflow搭建卷积神经网络CNN（新冠肺炎医学图像识别）保姆及级教程
qq_34184505的博客
04-17 1195
TensorFlow2.X 搭建卷积神经网络（CNN），实现人脸识别（可以识别自己的人脸哦！搭建的卷积神经网络是类似VGG的结构(卷积层与池化层反复堆叠，然后经过全连接层，最后用softmax映射为每个类别的概率，概率最大的即为识别结果)。
使用tensorflow实现CNN
skullFang的博客
05-24 2万+
前言 好久没有更新博客，在之前的博文用代码一步一步完成了手写数字识别，但是在工业应用中不需要这么复杂的实现。我们造车再也不需要自己造轮子。Tensorflow作为当今最流行的机器学习框架，也是Google的亲儿子，对其学习也是有必要性。当然tensorflow也出来很久了，在写本文的时候tensorflow已经是1.8版本。这篇文章没有什么理论知识，因为理论知识早在前面的文章说过了，也用代码实现...
卷积神经网络(CNN)与TensorFlow实现
MISADS的博客
10-27 1700
CNN的简介 卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT-CONV-RELU-POOL-FC。CNN在图像识别、文本分类等方面都有着广泛的应用。本文将结合TensorFlow代码介绍一个完整的卷积神经网络中需要用到的以下内容： 输入层 * reshape操作 卷积层 * 填充(padding) * 卷积(tf.nn.conv2d) ...
TensorFlow 1.x的学习
最新发布
kinkinhe的博客
04-15 1242
TensorFlow 1.x的学习
tensorflow.net cnn
01-27
在TensorFlow.NET中，我们可以使用卷积神经网络（CNN）构建和训练模型。 卷积神经网络是一类常用于图像处理和计算机视觉任务的深度学习模型。它通过卷积运算和池化操作来提取图像中的特征，并通过全连接层进行分类...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值