![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
neural network
糖糖糖-豆
chemistry_master
展开
-
神经网络方面的论文
一 RNN 1 Recurrent neural network based language model RNN用在语言模型上的开山之作2 Statistical Language Models Based on Neural Networks Mikolov的博士论文,主要将他在RNN用在语言模型上的工作进行串联3 Extensions of Recurrent Neur转载 2018-01-11 14:28:39 · 10532 阅读 · 1 评论 -
conver_variables_to_constants 函数
将计算图中 的变量及取值通过变量的方式保存graph_util 模块中的函数import tensorflow as tffrom tensorflow.python.framwork import graph_utilv1 = tf.variable(tf.constant(1.0, shape = [1]), name = 'v1')v2 = tf.variable(tf....原创 2018-03-05 11:17:40 · 907 阅读 · 0 评论 -
模型的保存与持久化
模型的保存使用了函数tf.train.Saver() 通过saver.saver(sess, ”path“ )保存import tensorflow as tf v1=tf.Variable(tf.constant(1.0,shape=[1]),name="v1") v2=tf.Variable(tf.constant(2.0,shape=[1]),name="v2") re...原创 2018-03-06 17:36:41 · 331 阅读 · 0 评论 -
ResNet论文(深度残差网络)
ResNet——MSRA何凯明团队的Residual Networks,2015年,在ImageNet的classification、detection、localization以及COCO的detection和segmentation上均斩获了第一名的成绩,而且Deep Residual Learning for Image Recognition也获得了CVPR2016的best paper。...转载 2018-05-19 20:55:45 · 7137 阅读 · 2 评论 -
网络模型中Inception的作用与结构全解析
一 论文下载 本文涉及到的网络模型的相关论文以及下载地址: [v1] Going Deeper with Convolutions, 6.67% test error http://arxiv.org/abs/1409.4842 [v2] Batch Normalization: Accelerating Deep Network Training by Reducin...转载 2018-05-19 21:34:05 · 1087 阅读 · 0 评论 -
k_flods,k折交叉验证法
python使用k折交叉验证的代码 K折交叉验证:sklearn.model_selection.KFold(n_splits=3, shuffle=False, random_state=None)思路:将训练/测试数据集划分n_splits个互斥子集,每次用其中一个子集当作验证集,剩下的n_splits-1个作为训练集,进行n_splits次训练和测试,得到n_splits个结果注意...原创 2018-05-20 17:36:07 · 1950 阅读 · 0 评论 -
tensorflow—读取图片_gfile
在初涉tensorflow的时候,一般采用公开数据集进行训练,对于数据集的格式以及读取很不清楚,所以这里给出tensorflow直接读取图像序列的方法,自己进行数据集的构建。下面给出集中可以参考的方法。 一、单张图片读取 1.tensorflow的gfile读取图像,matplotlib用于可视化 使用tensorflow里面给出了一个函数用来读取图像,tf.gfile.FastGFi...转载 2018-05-20 18:12:21 · 893 阅读 · 0 评论 -
tf.control_dependencies()作用及用法
参考的博客:https://blog.csdn.net/PKU_Jade/article/details/73498753 在facenet .py的line 75-77 有引用该函数。with tf.control_dependencies([centers]): # 操作依赖,loss内的操作,将会再centers后再进行。 loss = tf.reduce_mean(t...转载 2018-05-23 17:14:02 · 1478 阅读 · 0 评论 -
ResNets
ResNets背景: 非常非常深的神经网络是很难训练的,因为存在梯度消失和梯度爆炸问题。《转载+更改》https://blog.csdn.net/qq_29893385/article/details/81207203ResNets是由残差块(Residual block)构建的首先解释一下什么是残差块。这是一个两层神经网络,在 relu层进行激活,得到a^(l+1) ,再次进行...转载 2018-10-19 11:01:13 · 3283 阅读 · 1 评论 -
变量的滑动平均值模型
保存滑动平均值的模型example:import tensorflow as tf v = tf.Variable(0, dtype = tf.float32, name = "v")#没有申明滑动平均模型时只有一个变量vfor variables in tf.all_variables(): pirnt(variable.name) #输出v:0ema = ...原创 2018-03-05 10:29:34 · 706 阅读 · 0 评论 -
模型的持久化 tf.train.Saver()
模型持久化:将训练得到的模型保存下来方便下次直接使用。代码实现: 保存模型tensorflow提供一个 简单的api保存和还原一个 神经网络模型。 tf.train.Saver()import tensorflow as tf#声明两个变量并计算他们的和v1 = tf.Variable(tf.constant(1.0, shape=[1], name = "v1")v2 ...原创 2018-03-05 09:58:53 · 330 阅读 · 0 评论 -
度量学习
Wikipedia:http://www.cs.cornell.edu/~kilian/research/metric/metric.htmlCMU的Liu Yang总结的关于DML的综述页面。对DML的经典算法进行了分类总结,其中她总结的论文非常有价值,入门读物。:http://www.cs.cmu.edu/~liuy/distlearn.htmECCV 2010的turorial。 htt转载 2018-01-16 11:54:45 · 405 阅读 · 0 评论 -
报错:valueError: Variable layer1/weights/ExponentialMovingAverage/ already exitsts,
报错:valueError: Variable layer1/weights/ExponentialMovingAverage/ already exitsts, 版本问题。运行api1.40 即可~~原创 2018-03-08 21:44:38 · 1478 阅读 · 1 评论 -
二维卷积网络函数con2d
卷积神经网络的调用函数con2d(input, filter_wight, strides, padding, use_cudnn_on_gpu = True, data_formate = "NHWC", name = None){input = [batch, in_height, out_width, channel], 输入矩阵的尺度filter_weight = [fili...原创 2018-03-15 20:49:39 · 3533 阅读 · 0 评论 -
滑动平均模型tf.train.ExponentialMovingAverage(v1, stpe)
滑动平均模型 在采用随机梯度下降算法训练神经网络时候,使用滑动平均模型可以在一定的程度上提高最终的模型在测试数据上的表现Tensorflow中使用函数提供了下面的函数>>> tf.train.ExponentialMovingAverage(v1,step)% v1: variable. step =控制下降的速度% shadow_variable = decay ...原创 2018-03-03 20:59:55 · 357 阅读 · 0 评论 -
生生阶段的标准正态分布tf.truncated_normal()
tf.truncated_normal(shape, mean, stddev) :shape表示生成张量的维度,mean是均值,stddev是标准差。这个函数产生正太分布,均值和标准差自己设定。这是一个截断的产生正太分布的函数,就是说产生正太分布的值如果与均值的差值大于两倍的标准差,那就重新生成。import tensorflow as tf; c = tf.truncate...原创 2018-03-03 21:52:00 · 2543 阅读 · 0 评论 -
学习率的指数衰减函数 tf.exponetial_decay(a,b,c,d,staircase = Fasle)
通过这个函数,可以已较大的学习率快速得到一个比较优的解,随后随着迭代的继续逐步减少学习率,使得模型在训练后期更加稳定。计算公式:decay_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)decay_learnig : 每轮使用的学习率 learning_rate: 事先设定的初始学习率 ...原创 2018-03-03 22:43:25 · 2863 阅读 · 0 评论 -
给TensorFlow.安装models
models默认是不自动安装,需要手动~~/home/kaitang/anadonda3/env/tensorflow1.4$ sudo git clone --recurse-submodules https://github.com/tensorflow/models如何给TensorFlow 加载模型。...原创 2018-03-11 16:50:53 · 3229 阅读 · 0 评论 -
tensorflow中的变量管理
变量管理: 通过名称获取变量:tf.get_variable 和tf.variable_scope 函数实现。tf.get_variable() 创建变量或者获取变量,与tf.Variable()基本等价#下面二个变量等价V = tf.get_Variable(“v”, shape = [1], initializer = tf.constant_initializer(1, 0)...原创 2018-03-04 11:51:56 · 267 阅读 · 0 评论 -
tf.placeholder()
tf.placeholder(dtype, shape=None, name=None)此函数可以理解为形参,用于定义过程,在执行的时候再赋具体的值 这样程序在运行时候就不要生成大量的常量来提供输入数据,避免来庞大的计算图,而只需要将数据通过placeholder 传入tensorflow的计算图。参数:dtype:数据类型。常用的是tf.float32,tf.float64等数值类...原创 2018-03-05 00:05:39 · 4761 阅读 · 1 评论