炼丹技巧（一）——MNIST数据上的炼丹（TensorFlow）之Shuffle_batch的探索

最新推荐文章于 2023-03-13 00:27:25 发布
VIP文章 最新推荐文章于 2023-03-13 00:27:25 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： tensorflow学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/holmes_mx/article/details/81937655
版权

0. 写作目的

好记性不如烂笔头。记录在学习过程中遇到的问题，以及对问题的思考和解决方法，为后来人提供一些经验。

1. 网络的重要性

虽然MNIST数据集相对比较简单，已经不能作为网络的评价标准，因为许多网络在MNIST数据上的精度都超过了99%，但是网络也不是随意选择的。刚开始随即设计了一个网络，用于测试MNIST数据集，收敛较慢，因此修改了网络的结构。

原始网络：

原始网络部分训练过程（由于训练时间有些长，就只训练了部分）

最低0.47元/天 解锁文章
holmes_MX
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
tensorflow中next_batch的具体使用
12-25
本文介绍了tensorflow中next_batch的具体使用，分享给大家，具体如下： 此处给出了几种不同的next_batch方法，该文章只是做出代码片段的解释，以备以后查看： def next_batch(self, batch_size, fake_data=False): """Return the next `batch_size` examples from this data set.""" if fake_data: fake_image = [1] * 784 if self.one_hot: fake_label = [1] + [0] *
TensorFlow学习笔记之DataSet中shuffle,batch和repeat的用法详解
lankuohsing的博客
12-05 1593
话不多说，看代码 代码git链家：https://github.com/lankuohsing/TensorFlowStudy/blob/master/dataset_usage/shuffle_batch_repeat.py # -*- coding: utf-8 -*- """ Created on Fri Dec 4 21:08:13 2020 @author: lankuohsing """ import tensorflow as tf import numpy as np # In[]
Tensorflow_datasets中batch(batch_size)和shuffle(buffer_size)理解
ac540101928的专栏
08-19 3030
1.shuffle(buffer_size) tensorflow中的数据集类Dataset有一个shuffle方法，用来打乱数据集中数据顺序，训练时非常常用。其中shuffle方法有一个参数buffer_size，文档的解释如下： dataset.shuffle(buffer_size, seed=None, reshuffle_each_iteration=None) Randomly shuffles the elements of this dataset. This dataset f.
【Pytorch学习笔记】MNIST数据集的训练及简单应用（一）
m0_53396562的博客
08-04 4072
零、简单介绍 pytorch是一个开源的深度学习的框架。其本质是一个基于Python的科学计算包，能提供最大的灵活性和效率。 MNIST数据集包含70,000张手写数字的图像及标签。其中 60,000张用于训练，10,000张用于测试。图像是灰度的，28x28像素，并且居中的，以减少预处理和加快运行。如下图所示： CNN卷积神经网络，参见这个介绍。一个简单的卷积神经网络可包括卷积层，池化层，和全连接层。就是说，训练好之后，给这个网络输入一张手写数字的图片，经过这些个层之后，就可以输出这个数
tensorflow(6) mnist.train.next_batch()函数解析
热门推荐
liudiudiu
12-07 5万+
之前一直用keras，用keras的fit_generator需要写一个无限循环的生成器(while True, yield X,y)，然而tensorflow的feed_dict原理不一样，它需要的只是一个batch的数据而已。那么如何保证每一次调用next还能记住上一次的位置呢？第一个想到的是全局变量。tensorflow源码是将dataset输入写为一个类，self._index_in_epo
深度学习 - 关于batch，repeat，shuffle的讲解
壮壮不太胖的学习笔记
09-15 2302
这里是目录标题batch函数讲解repeat函数讲解shuffle函数讲解顺序对比：可以自己print出来看一下，顺序不同每一个数据的意义是不相同的 本篇博客主要讲解tf.data.Dataset的batch，repeat，shuffle函数，最后着重讲它们之间的顺序使用问题。 查询可用：tf.data.Dataset官方文档 内容参考：链接???? batch函数讲解 以下先创建一个Dataset类型 import tensorflow as tf t = tf.range(10.)[:, None] t
TensorFlow之shuffle_batch批量读文件
laolu1573的专栏
03-14 6580
def read_file_format(filename_queue): """ 读文件数据, 执行一次读一行 :param filename_queue: :return: """ # 定义Reader reader = tf.TextLineReader() # Each execution of read reads a si
深度学习基操：batch shuffle编程
Rain
12-27 1067
在训练网络时，经常会遇到数据集中数据与标签分离的情况，此时进行batch shuffle时需要保持数据与标签一一对应的关系，编程实现如下。 以图像识别中玩滥的MNIST数据集为例： MNIST 数据集可在 http://yann.lecun.com/exdb/mnist/ 获取, 它包含了四个部分: Training set images: train-images-idx3-ubyte.g...
python炼丹师是什么意思_Ray Tune: 炼丹师的调参新姿势
weixin_26873711的博客
02-04 2514
在机器学习的大多数漂亮的结果背后，是一个研究生(我)或工程师花费数小时训练模型和调整算法参数。正是这种乏味无聊的工作使得自动化调参成为可能。在 RISELab 中，我们发现越来越有必要利用尖端的超参数调整工具来跟上最先进的水平。深度学习性能的提高越来越依赖于新的和更好的超参数调整算法，如基于分布的训练(PBT) ，HyperBand，和 ASHA。Source: 基于分布的训练大大提高了 Deep...
PyTorch炼丹1~
whaosoft143ai的博客
03-13 246
首先是模型，作者采用 DistilBERT 模型进行研究，它是 BERT 的精简版，与 BERT 相比规模缩小了 40%，但性能几乎没有损失。据他表示，他的方法在不影响模型准确率的情况下，仅仅通过改变几行代码，将 BERT 优化时间从 22.63 分钟缩减到 3.15 分钟，训练速度足足提升了 7 倍。在模型运行了 22.63 分钟后进行微调，最终的测试准确率为 91.43%。关于 PyTorch 炼丹，本文作者表示：「如果你有 8 个 GPU，整个训练过程只需要 2 分钟，实现 11.5 倍的性能加速。
mnist.rar_DEMO_MNIST_mnist tensorflow_tensorflow
09-21
tensorflow demo of mnist by python
CNN_MNIST.rar_CNN mnist_MNIST CNN_MNIST 数据集_tensorflow cnn_卷积 m
09-24
Tensorflow实现基于MNIST数据集的卷积神经网络
tensorflow_mnist_cnn.zip_MNIST_tensorflow
09-15
一个用tensorflow学习mnist手写数字库的学习算法示例
MNIST_CNN.zip_MNIST_MNIST_CNN_tensorflow_手写体识别_神经网络卷积
07-14
MNIST手写体数字识别，卷积神经网络，tensorflow环境
tensorflow基础教程中所用mnist数据集
07-07
tensorflow基础教程中所用mnist数据集，在线下载会出问题，最好采用以下步骤： # (1) 首先在当前项目下新建 MNIST_data ...# (3) 载的四个文件(不用解压)直接放到MNIST_data文件夹里面，就可以调用该数据集了
tensorflow学习（一）——有关tensorflow不同层的使用（tf.nn 和tf.layers以及tf.contrib.layers）的简单区别
holmes_MX的博客
09-02 6024
小trick: 对于使用tf.layers建立的神经网络，如果想要对loss函数进行正则话，可以采用如下方式[1]： 但是该方法不适用于编程者自己定义不同层的正则化。 l2 = tf.add_n([tf.nn.l2_loss(var) for var in tf.trainable_variables()]) 注意：本文中tensorflow ver=1.8 0. 写作目的 好记性不...
tensorflow 多个模型测试阶段速度越来越慢问题的解决方法
holmes_MX的博客
09-12 5363
0. 写作目的 好记性不如烂笔头。 1. 问题描述 tensorflow中多个模型在测试阶段，出现测试速度越来越慢的情况，通过查阅资料发现，由于tensorflow的图是静态图，但是如果直接加在不同的图（即不同的模型），应该都会存在内存中，因此造成了测试速度越来越慢，甚至导致机器卡顿（博主在测试100个模型时，一般测试20个模型左右出现卡顿），因此有必要探究更快的测试速度方法。 2. 方法...
tensorflow学习之——从保存的权重中使用tensorboard查看网络
holmes_MX的博客
10-09 2117
0. 写作目的 好记性不如烂笔头。 1. tensorboard模型保存说明 采用tf.train.Saver保存的模型，主要文件有： 1) checkpoint : 用于记录训练过程中保存的各模型，在第一行会保存最新的模型的路径: model.ckpt 2)  model.ckpt.meta： 为保存的Graph,即网络 3) model.ckpt.index : 为string-s...
tensorflow_federated手写数字识别mnist数据集联邦学习代码
最新发布
11-11
以下是使用TensorFlow Federated进行手写数字识别MNIST数据集联邦学习的代码： ```python import tensorflow as tf import tensorflow_federated as tff # 加载MNIST数据集 mnist_train, mnist_test = tf.keras.datasets.mnist.load_data() # 定义模型 def create_keras_model(): return tf.keras.models.Sequential([ tf.keras.layers.Input(shape=(28, 28)), tf.keras.layers.Reshape(target_shape=(28, 28, 1)), tf.keras.layers.Conv2D(32, 3, activation='relu'), tf.keras.layers.Flatten(), tf.keras.layers.Dense(10, activation='softmax') ]) # 定义TFF模型 def model_fn(): keras_model = create_keras_model() return tff.learning.from_keras_model( keras_model, input_spec=mnist_train[0].shape, loss=tf.keras.losses.SparseCategoricalCrossentropy(), metrics=[tf.keras.metrics.SparseCategoricalAccuracy()]) # 定义TFF联邦平均算法 iterative_process = tff.learning.build_federated_averaging_process( model_fn, client_optimizer_fn=lambda: tf.keras.optimizers.SGD(learning_rate=0.02), server_optimizer_fn=lambda: tf.keras.optimizers.SGD(learning_rate=1.0)) # 训练模型 state = iterative_process.initialize() for round_num in range(10): state, metrics = iterative_process.next(state, [mnist_train]) print('round {:2d}, metrics={}'.format(round_num, metrics)) # 评估模型 evaluation = tff.learning.build_federated_evaluation(model_fn) test_metrics = evaluation(state.model, [mnist_test]) print('Test metrics: {}'.format(test_metrics)) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值