tensorflow
文章平均质量分 70
0基础入门tensorflow
catch tail of youth
路漫漫其修远兮,吾将上下而求索
展开
-
tensorflow-使用传统神经网络mnist手写数字图像识别的最佳实践
文件列表如下:文件说明:mnist_inference 用于定义前向传播算法及其相关参数,mnist_train模型训练与持久化,mnist_eval模型加载与验证mnist_inference.py# 该文件定义了前向传播过程和神经网络参数# _*_ coding:utf-8 _*_import tensorflow as tf#定义参数INPUT_NODE = 784OUTPUT_NODE = 10LAYER1_NODE = 500def get_weight_variab原创 2020-05-15 01:58:27 · 248 阅读 · 0 评论 -
tensorflow模型持久化方法
#测试模型持久化v1 = tf.Variable(tf.constant(1.,shape=[2,2]),name='v1')v2 = tf.Variable(tf.constant(1.,shape=[2,2]),name='v2')result = v2 + v1init_op = tf.global_variables_initializer()#声明tf.train.Saver类用于保存模型saver=tf.train.Saver()with tf.compat.v1.S原创 2020-05-14 02:33:37 · 256 阅读 · 0 评论 -
神经网络优化方法-学习率指数衰减法
学习率衰减(learning rate decay)在训练神经网络时,使用学习率控制参数的更新速度.学习率较小时,会大大降低参数的更新速度;学习率较大时,会使搜索过程中发生震荡,导致参数在极优值附近徘徊.为此,在训练过程中引入学习率衰减,使学习率随着训练的进行逐渐衰减而最常用的方法是指数衰减法:tf.train.exponential_decay()指数衰减的学习速率计算公式为:decayed_learning_rate = learning_rate * decay_rate ^ ..原创 2020-05-12 00:48:35 · 1133 阅读 · 0 评论 -
神经网络优化方法-梯度下降算法
神经网络优化方法-梯度下降算法梯度下降算法主要用于优化单个参数的取值, 反向传播算法给出了一个高效的方式在所有参数上使用梯度下降算法。从而神经网络模型在训练数据的损失函数尽可能小。假设损失函数如下:x轴表示参数取值, y轴表示损失函数的值。, 假设当前的参数和损失函数值的位置为图中小黑点的位置, 那么梯度下降算法将会将参数向x轴左侧移动, 从而使小圆点朝箭头的方向移动。参数的梯度可以通过求偏导的方式计算。通过以下是实例来解释梯度下降算法作用于损失函数的应用。神..原创 2020-05-11 23:57:56 · 1179 阅读 · 0 评论 -
tenforflow经典损失函数总结
1 什么是损失函数?用来刻画实际值与期望值之间距离的函数,函数返回值越大代表期望值与实际值差距越大,预测效果越差2 常用损失函数有哪些?A 分类问题-交叉熵损失函数交叉熵,刻画了期望概率分布与实际概率分布的距离,换句话说,通过概率分布q来表示p的困难程度,值越小,概率分布越接近给定概率分布p和q,用q来表示p的交叉熵为由于原始神经网络输出层输出为数值,因此交叉熵损失函数通常配合softmax回归函数使用,softmax函数将输出变成概率分布,例如:二分类问题输出为0或者1,输原创 2020-05-09 01:00:31 · 269 阅读 · 0 评论 -
tensorflow基础知识补充
1 激活函数实现去线性化及偏置项的作用https://blog.csdn.net/walilk/article/details/50278697原创 2020-05-08 00:41:13 · 79 阅读 · 0 评论