![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
tensorflow
steadfastly
Stay hungry
展开
-
AttributeError: module 'tensor board.summary._tf.summary' has no attribute 'FileWriter'
为了实现tensorflow可视化,我使用tf.summary.FileWriter()的时候,会出现错误提示:AttributeError: module 'tensor board.summary._tf.summary' has no attribute 'FileWriter'我发现这个问题网上没有博客提到这个问题,所以就把我的解决过程记录如下。1.将原来使用的t...原创 2019-11-30 01:53:35 · 27314 阅读 · 17 评论 -
tensorflow框架基础——交叉熵
1.交叉熵(Cross Entropy)表示两个概率分布之间的距离。交叉熵越大,两个概率分布距离越远,两个概率分布越相异。交叉熵越小,两个概率分布越近,两个概率分布越相似。计算公式:用tensorflow函数表示为:ce = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-12,1.0)))tf.clip_by_value(y...原创 2019-03-14 22:51:25 · 293 阅读 · 0 评论 -
tensorflow框架基础——指数衰减学习率
学习率表示了每一次更新参数的幅度大小。学习率过小,会导致待优化的参数收敛缓慢;学习率过大会导致待优化的参数在最小值附近波动,不收敛。而指数衰减学习率,是指学习率随着训练轮数变化而动态更新。用tensorflow的函数表示为:learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE,global_step,LEARNIN...原创 2019-03-18 22:53:52 · 710 阅读 · 0 评论 -
tensorflow框架基础——滑动平均
1.滑动平均 记录了一段时间神经模型中所有参数的平均值,针对所有参数进行优化:w和b。利用滑动平均可以增强模型的泛化能力,也就是对新鲜样本的适应能力。滑动平均值也叫影子值。2.滑动平均值计算公式 影子值 = 衰减率 * 影子 + (1 - 衰减率)*参数衰减率 = min{MOVING_AVERAGE_DECAY,} 影子初值等于参数初值...原创 2019-03-19 00:04:20 · 1037 阅读 · 0 评论 -
tensorflow框架基础——正则化
1.过拟合如果一个神经网络模型在训练集的准确率很高,而在新的数据集或者测试集准确率较低,说明模型的泛化能力差,也就是过拟合现象。2.正则化正则化就是在损失函数中给每一个参数w(一般不对参数b做正则化)加上权重,从而抑制模型的噪声,减小过拟合。但是这个策略可能会以增大训练误差为代价。3.tensorflow函数正则化:loss(w) = tf.contrib.laye...原创 2019-04-20 01:40:05 · 204 阅读 · 0 评论