TensorFlow (未完待续……)

最新推荐文章于 2022-09-21 22:08:06 发布
最新推荐文章于 2022-09-21 22:08:06 发布
阅读量179 收藏
点赞数
分类专栏： 技术 tensorflow 文章标签： TensorFlow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/scorpioji/article/details/104162973
版权

一、几个基本概念

1. 前向传播

输入 ------(模型+参数)------> 输出

2. 损失函数

(1) 分类问题：交叉熵 + softmax -> tf.nn.sparse_softmax_cross_entropy_with_logits()

(2) 回归问题：MSE均方误差

3. 反向传播

调整参数使得损失函数的差距变小

(1) 反向传播算法：所有参数

(2) 梯度下降法：单个参数

4. 激活函数

神经网络 线性->非线性

(1) ReLU: f(x)=max(x,0)

(2) sigmoid: f(x)=1/(1+e^(-x))

(3) tanh: f(x)=(1-e^(-2x)/(1+e^(-2x))

5. 监督学习

在已知答案的标注数据集上，模型给出的预测结果要尽量接近真实的答案。

 

二、TensorFlow入门

1. 计算图

(1) TensorFlow是一个通过计算图的形式来表述计算的编程系统

(2) 图必须在会话(session)里启动。

2.张量

(1) 张量(Tensor)和变量(Variable)都有

  • 形状 - .shape
  • 类型 - .dtype
  • 值 - .numpy()

*变量类型不可变，但维度可变(在assign()的参数里指定validate_shape=False)。

(2) 张量支持的类型

  • 实数：float32, float64
  • 整数：int8, int16, int32, int64, uint8
  • 布尔型：bool
  • 复数：complex64, complex128

3. TensorFlow游乐场

http://playground.tensorflow.org

4. 神经网络反向传播优化流程图

5 训练神经网络的过程

(1) 定义神经网络的结构和前向传播的输出结果。

(2) 定义损失函数以及选择反向传播优化的算法。

(3) 生成会话(tf.Session)并且在训练数据上反复运行反向传播优化算法。

 

三、深层神经网络

y = x * W + bias

1. 全连接神经网络

2. 神经网络优化算法

(1) 深度学习的优化算法，说白了就是梯度下降。

  • 标准梯度下降：先计算样本汇总的误差，然后根据总误差来更新权值。
  • 随机梯度下降：随机抽取一个样本来计算误差，然后更新权值。
  • 批量梯度下降：以总样本抽取一个批次(比如1万个样本选取100个样本作为1个batch)，然后计算这个batch的总误差，根据总误差来更新权值。

(2) 学习率逐渐变小可以使训练结果收敛。比如学习率设为0.95^n (n为训练次数)。

(3) 滑动平均模型：y = min {decay, (1 - 9 / (new_num + 10))}    (decay一般为非常接近1的数，eg. 0.999或0.9999)

(4) 神经网络优化方向

  • 激活函数
  • 隐藏层
  • 滑动平均模型
  • 指数衰减的学习率
  • 正则化损失

 

四、卷积神经网络

1. MNIST数据处理

(1) 图分的分辨率为width*height，而image的shape为[height, width, channel]，长和宽的顺序不一样。

(2) TensorFlow模型一般会存在后缀为 .ckpt 的文件中。

  • model.ckpt.meta: 计算图中节点及元数据。
  • model.ckpt.index: 保存所有变量的取值。
  • model.ckpt.data-*****-of-*****: 同上。
  • checkpoint: 所有模型文件的文件名。

2.卷积神经网络(Convolutional Neural Network, CNN)

(1) 卷积层(Convolution)：侦测pattern不需要看看整个image，只看一小部分就行。同样的pattern会出现在图片中的不同位置。(有多少个filter，输出的深度就是多少)

  • tf.nn.conv2d()

(2) 池化层(Pooling)：降采样(梯度下降)

  • tf.nn.max_pool(): 最大池化层
  • tf.nn.avg_pool(): 平均池化层

3. 经典卷积网络模型

(1) LeNet-5模型

(2) Inception-v3模型

4. 神经网络迁移

5. TFRecord输入数据格式

  • tf.TFRecordReader(): 读
  • tf.python_io.TFRecordWriter(): 写

6. 图像数据处理

(1) 图像编码处理

  • tf.image.decode_jpeg(): 解码
  • tf.image.encode_jpeg(): 编码

(2) 图像大小调整(处理前将图像转化为实数类型，避免精度损失)

  • tf.image.resize_images(): 拉伸原图像
  • tf.image.resize_image_with_crop_or_pad(): 裁剪或填充图像
  • tf.image.central_crop(): 按比例裁剪/填充图像
  • tf.image.crop_to_bounding_box(): 裁剪指定区域图像
  • tf.image.pad_to_bounding_box(): 填充指定区域图像

(3) 图像翻转

  • tf.image.flip_up_down(): 上下翻转
  • tf.image.flip_left_right(): 左右翻转
  • tf.image.transpase_image(): 对角线翻转
  • tf.image.random_flip_up_down(): 以50%概率上下翻转
  • tf.image.random_flip_left_right(): 以50%概率左右翻转

(4) 图像色彩调整

  • tf.image.adjust_brightness(): 调整亮度(最后须要有截断操作)
  • tf.image.adjust_contrast(): 调整对比度
  • tf.image.adjust_hue(): 调整色相
  • tf.image.adjust_saturation(): 调整饱和度
  • tf.image.per_image_standardization(): 图像标准化
  • tf.image.random_brightness(): 随机调整亮度
  • tf.image.random_contrast(): 随机调整对比度
  • tf.image.random_hue(): 随机调整色相
  • tf.image.random_saturation(): 随机调整饱和度

(5) 处理标注框

  • tf.image.draw_bounding_boxes()

7. 多线程输入数据处理框架

(1) 经典输入数据处理流程：

指定原始数据的文件列表
-> 创建文件列表队列
-> 从文件中读取数据
-> 数据预处理
-> 整理成Batch作为神经网络输入

(2) 队列

  • tf.FIFOQueue(): 先进先出队列
  • tf.RandomShuffleQueue(): 随机队列

(3) 多线程

  • tf.Coordinator.should_stop(): 信号值，决定是否要退出线程
  • tf.Coordinator.request_stop(): 将信号值设为True，通知其它线程退出
  • tf.Coordinator.join(): 等待所有线程完成
  • tf.train.QueueRunner(): 定义QueueRunner
  • tf.train.add_queue_runner(): 添加QueueRunner到默认集合
  • tf.train.start_queue_runner(): 启动QueueRunner

(4) batchsize, iteration 和epoch的区别

  • batchsize: 批大小，即每次训练在训练集中取batchsize个样本训练。
  • iteration: 1个iteration等于使用batchsize个样本训练一次。
  • epoch: 1个epoch等于使用训练集中的全部样本训练一次，通俗的说epoch的值就是整个数据集被轮几次。

eg. 训练集有500个样本，batchsize=10，那么训练完整个样本集: iteration=50，epoch=1。

8. 数据集(Dataset)

dataset = tf.data.TFRecordDatasetJ(input_files)
dataset = dataset.map(parser) # parser is a function which return feature1 and feature2
iterator = dataset.make_one_shot_iterator()
feature1, feature2 = iterator.get_next()

(1) 遍历器包括

  • make_one_shot_iterator
  • make_initializable_iterator
  • make_reinitializable_iterator
  • make_feedable_iterator

 

五、循环神经网络

1. 循环神经网络(Recurrent neural network, RNN)

2. 长短时记忆网络(Long Short Term Memory, LSTM)

 

六、TensorFlow高层封装

1. TensorFlow-Slim和TFLearn

TensorFlow 2.0不支持TensorFlow-Slim和TFLearn，因为tensorflow.contrib在TensorFlow 2.0中被移除了。

2. Keras

3. Estimator

 

七、TensorFlow计算加速——GPU

1. 同步模型 VS 异步模型

(1) 同步模型

优点：不同设备之间完全独立，训练效率高。

缺点：参数更新缺陷，有可能无法达到较优训练结果。

(2) 异步模型

优点：解决异步模型参数更新的问题。

缺点：每一轮训练时间取决于训练最慢的设备，其它完成了的设备很多时间都花在等待上，训练效率低。

2. GPU

GPU增加，处理能力也增加，但是非线性的。

3. 计算图内分布式 VS 计算图之间分布式

 

 

 

附录

API手册：https://docs.w3cub.com/tensorflow~python/

 

1. tf.reduce_xxxx

- tf.reduce_sum() #压缩对所有元素求和，用于降维

- tf.reduce_mean() #压缩对所有元素求平均值

- tf.reduce_logsumexp() #压缩对所有元素求log(sum(exp(x)))

- tf.reduce_max() #压缩对所有元素求最大值

- tf.reduce_min() #压缩对所有元素求最小值

- tf.reduce_prod() #压缩对所有元素求积

- tf.reduce_join() #压缩对所有字符串元素求拼接

- tf.reduce_all() #压缩对所有逻辑元素求与

- tf.reduce_any() #压缩对所有逻辑元素求或

import tensorflow as tf

 

x = tf.constant([[1,1,1],[1,1,1]])
print(tf.reduce_sum(x)) 

# 求和：tf.Tensor(6, shape=(), dtype=int32)


print(tf.reduce_sum(x, 0)) 

# 按列求和：tf.Tensor([2 2 2], shape=(3,), dtype=int32)


print(tf.reduce_sum(x, 1)) 

# 按行求和：tf.Tensor([3 3], shape=(2,), dtype=int32)


print(tf.reduce_sum(x, 1, keepdims=True)) 

# 按照行的维度进行求和： tf.Tensor([[3],[3]], shape=(2, 1), dtype=int32)


print(tf.reduce_sum(x, [0, 1])) 

# 按照行列求和：tf.Tensor(6, shape=(), dtype=int32)

See details at: https://docs.w3cub.com/tensorflow~python/tf/reduce_sum/

Mason.Jiang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
卷积神经网络的基本操作,卷积神经网络百度百科
shirley67269的博客
08-19 968
卷积神经网络（ConvolutionalNeuralNetwork,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。[1] 它包括卷积层(alternatingconvolutionallayer)和池层(poolinglayer)。卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。
【详解】卷积神经网络（CNN）概念及大体流程
pakerder的博客
05-11 8655
什么是卷积神经网络? 卷积神经网络结构包括：卷积层，池化层，全连接层。每一层有多个特征图，每个特征图通过一种卷积滤波器提取输入的一种特征，每个特征图有多个神经元。 卷积层：卷积神经网路中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。 卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。比如我们看一张猫的图片，可能看到猫的眼镜或者嘴巴就知道这是张猫片，而不需要说每个部分都看
卷积神经网络（CNN）的整体框架及细节（详细简单）
热门推荐
小林学编程的博客
04-06 8万+
详细简单的介绍卷积神经网络（CNN)，让读者快速掌握！！！
深度学习之卷积神经网络
姚蔚敏的博客
11-26 6008
一：卷积神经网络结构 左图：全连接神经网络（平面），组成：输入层、激活函数、全连接层 右图：卷积神经网络（立体），组成：输入层、卷积层、激活函数、池化层、全连接层 在卷积神经网络中有一个重要的概念：深度 卷积：在原始的输入上进行特征的提取。特征提取简言之就是，在原始输入上一个小区域一个小区域进行特征的提取，稍后细致讲解卷积的计算过程。 二：卷积神经网络组成 卷积神经网络组成: [INPU...
卷积神经网络流程图（清晰）
每日提升一点点
03-04 6024
linux服务器性能调优文档（未完待续）
07-23
教程名称：linux服务器性能调优文档(未完待续)课程目录：linux服务器性能调优01linux服务器性能调优02linux服务器性能调优03linux服务器性能调优04linux服务器性能调优05linux服务器性能调优06linux服务器性能调优07...
2015年高中语文优秀作文青春未完待续…素材
08-06
10. 青春的延续：尽管青春已逝，但它的精神和影响却可以"未完待续"，持续影响着我们的生活和决策。 总结，本文通过对青春的描绘，探讨了时间、成长、分别、记忆、诺言等主题，展现了青春的美好、脆弱和短暂，同时也...
quasar_clone:未完待续
03-17
Matthias Mann的续集库，为 。 原始文档如下。马蒂亚斯·曼（Matthias Mann）的续集图书馆这个小的库允许您以一种简单的顺序方式来编写游戏AI或动画代码，从而阻塞诸如walkTo()类的命令，而所有这些都不会阻塞您的AI...
远程办公的复盘 未完待续
01-07
文章目录背景在家办公面临的问题在家办公的优点在家办公的缺点建议 背景 新型冠状病毒的爆发让许多企业措不及防，许多互联网公司不得不开始在家云办公。当然这也许是好多 Coder 一直期盼的事，大家也开始躺着挣钱. ...
TensorFlow示例：Tensorflow实例
02-03
Tensorflow实例基础变量TensorBoard的使用调试-[未完]初级实例跑实例时一步一步解析每一行代码，包括每个一个变量，每一个函数每一步的运行结果写在后面注释里面机器学习张量板算法相关[聂彬-认领][张夏旭-认领]-...
docshub：基于API文档浏览器的Github Pages服务
02-04
Docshub W3cubDocs API文档 子模块 ./ ├── [devdocs](https://github.com/w3cub/devdocs/) # Origin project ├── [docslogo](https://github.com/w3cub/docslogo/) # Generate logos for index page └── [website](https://github.com/w3cub/docsgen/) # Jekyll project , which we need to convert static pages 用法 sud
CNN 卷积神经网络（过程解析）
最新发布
影子
09-21 3032
一张灰度图像，就是一个单通道，h*w*1表示高和宽和1通道，每个像素值范围0-255，只有宽和高的图像就是2d矩阵，可以表示成0-1或者0-255，0表示黑色，255表示白色。彩色图像RGB或者BGR是3通道，h*w*3，是一个张量。
卷积神经网络算法流程图,卷积神经网络图怎么画
神器榜
09-04 2528
这张图就是局部连接，可以看到上一层只有3个单元和下一层连接（这张图的流程是从下到上，所以我说的上一层是最底层，下一层是按照箭头方向的上边那层）。卷积神经网络的连接性：卷积神经网络中卷积层间的连接被称为稀疏连接（sparseconnection），即相比于前馈神经网络中的全连接，卷积层中的神经元仅与其相邻层的部分，而非全部神经元相连。卷积神经网络的稀疏连接具有正则化的效果，提高了网络结构的稳定性和泛化能力，避免过度拟合，同时，稀疏连接减少了权重参数的总量，有利于神经网络的快速学习，和在计算时减少内存开销。
python神经网络编程 代码,python神经网络编程 豆瓣
kfc67269的博客
08-10 910
学习人工智能时，我给自己定了一个目标－－用Python写一个简单的神经网络。为了确保真得理解它，我要求自己不使用任何神经网络库，从头写起。多亏了AndrewTrask写得一篇精彩的博客，我做到了！下面贴出那九行代码：在这篇文章中，我将解释我是如何做得，以便你可以写出你自己的。我将会提供一个长点的但是更完美的源代码。首先，神经网络是什么？人脑由几千亿由突触相互连接的细胞（神经元）组成。突触传入足够的兴奋就会引起神经元的兴奋。这个过程被称为“思考”。我们可以在计算机上写一个神经网络来模拟这个过程。不需要在生物分
卷积神经网络卷积过程
yinxue541的博客
09-14 6465
卷积过程是卷积神经网络最主要的特征。然而卷积过程有比较多的细节，初学者常会有比较多的问题，这篇文章对卷积过程进行比较详细的解释。 1.卷积运算 首先我们需要知道什么是卷积计算，它其实是一种简单数学运算，有两个步骤：一个是矩阵内积乘法，另一个是将内积乘法的结果进行全加。 （1）矩阵内积乘法 矩阵的内积乘法非常简单，就是把两个相乘的矩阵，相同位置的元素进行乘法运算，这个时候会得到一个新的矩阵（在这里我们需要注意一下，卷积是在作矩阵内积乘法，而不是矩阵乘法）。 （2）全加计算 这个新矩阵的全部值会进行相加，然后会
卷积神经网络（CNN）超详细介绍
weixin_44021149的博客
03-22 5万+
文章转自：https://blog.csdn.net/jiaoyangwm/article/details/80011656 文章目录 1、卷积神经网络的概念2、 发展过程3、如何利用CNN实现图像识别的任务4、CNN的特征5、CNN的求解6、卷积神经网络注意事项7、CNN发展综合介绍8、LeNet-5结构分析9、AlexNet10、ZFNet10.1 意义10.2 实现方法10.3 训练细节10.4 卷积网络可视化10.6 总结 11、VGGNet11.1 结构11.2 网络特点：11.3 分
CNN 卷积神经网络结构
zhongkeli的专栏
07-07 4万+
CNNcnn每一层会输出多个feature map, 每个Feature Map通过一种卷积滤波器提取输入的一种特征，每个feature map由多个神经元组成，假如某个feature map的shape是m*n, 则该feature map有m*n个神经元。对于卷积层会有kernel, 记录上一层的feature map与当前层的卷积核的权重,因此kernel的shape为(上一层feature
卷积神经网络流程图_卷积神经网络
weixin_39622178的博客
11-26 2284
卷积操作% ------------------------------------ %关于卷积操作 % % date 2019/05/14 % by Dufy % % ------------------------------------ clc clear close all format compact a=[0 1 2;3 4 5;6 7 8]; b=[0 1;2 3]; conv...
cnn程序流程图_卷积神经网络（CNN）原理及应用
weixin_39629093的博客
12-19 5538
一、CNN原理卷积神经网络(CNN)主要是用于图像识别领域，它指的是一类网络，而不是某一种，其包含很多不同种结构的网络。不同的网络结构通常表现会不一样。从CNN的一些典型结构中，可以看到这些网络创造者非常有创造力，很多结构都非常巧妙，有机会再介绍现今主流的一些典型结构。 现在我们先来简单介绍一下卷积神经网络的原理。Very Deep Convolutional Networks for Large...
"PMPBOK第六版自整理（未完待续）：项目与运营引论
关于PMP（项目管理专业人士）和PMBOK（项目管理知识体系）的相关介绍和概述，以下是针对这些内容进行整理和总结的一些要点。 PMP（项目管理专业人士）是由世界上最知名的国际管理学会之一——美国项目管理学会...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值