tensorflow
潜行隐耀
这个作者很懒,什么都没留下…
展开
-
生成input pipeline:从文件夹中读取图像并生成四维数组和标签数据
直接上代码:import numpy as npimport tensorflow as tffrom pathlib import Pathimport matplotlib.pyplot as pltdef generate_batch(dir_path, img_size): dir_path = Path(dir_path) classes = [] ...原创 2020-04-26 01:32:20 · 736 阅读 · 0 评论 -
tensorflow实现L2正则化的方法总结
前言:tensorflow中计算l2正则化项的方法有tf.nn.l2_loss()和tf.contrib.layers.l2_regularizer(),使用方法如下所示:import tensorflow as tfweights = tf.constant([[1,2,3], [4,5,6]], dtype=tf.float32)sess = tf.InteractiveSession()# 计算的是所有元素的平方和再除以2print(tf.nn.l2_loss(weights).e原创 2020-06-17 21:54:14 · 7449 阅读 · 0 评论 -
爬坑tensorflow多gpu并行训练时loss为nan
一、前言有关tensorflow多gpu分布式的知识点介绍可以参考这篇博客,本文主要是记录一下自己训练时遇到的几个易错点,代码使用的分布式策略是数据并行中的同步方式。文章最后会放上完整代码,包括训练及在训练过程中验证的过程。二、易错点1. 数据划分不当导致loss为nan划分数据到不同的gpu上的代码片段如下:inputs = tf.placeholder(tf.float32, [None, image_size, image_size, 3])labels = tf.plac原创 2020-06-05 22:31:17 · 2035 阅读 · 0 评论 -
tensorflow图像分类时测试准确率受到batch size的影响
之前在使用tensorflow的slim.nets模块进行finetune resnet50时,遇到了训练时的准确率和loss值正常,但在验证和测试时准确率很低的问题,具体表现是测试时batch size越小,测试的准确率越低。但按理说batchsize在测试时应该只影响了运行时间,不应该对准确率产生影响,在这里记录一下解决这个问题的过程。1. BatchNormalization Layer的问题:我finutune时用的网络结构是slim.nets.resnet_v2.resnet_v2_50.原创 2020-05-25 02:39:38 · 1995 阅读 · 0 评论 -
tensorflow计算模型分类准确率的方法总结
1. 使用tf.equal():import tensorflow as tfimport numpy as npbatch_size = 8class_num = 10 # 类别数量# 假设logits为神经网络前向传播输出logits = tf.Variable([0, 5, 9, 1, 7, 1, 0, 1])# 假设labels为真实样本号,这里设为全1label...原创 2020-05-04 19:35:14 · 5358 阅读 · 0 评论 -
tensorflow计算交叉熵损失函数(cross_entropy)的方法总结
本文将对以下几种tensorflow中常用的交叉熵损失函数进行比较:tf.losses.sigmoid_cross_entropy tf.nn.sigmoid_cross_entropy_with_logits tf.losses.softmax_cross_entropy tf.nn.softmax_cross_entropy_with_logits_v2 tf.losses.spa...原创 2020-05-05 16:33:39 · 6185 阅读 · 0 评论