Tensorflow_MNIST_data_二次代价函数、交叉熵代价函数准确率比较

原创 2018年04月16日 16:24:53
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

#载入数据集
mnist = input_data.read_data_sets("MNIST_data",one_hot=True)

#每个批次的大小和总共有多少个批次
batch_size = 100
n_batch = mnist.train.num_examples // batch_size

#定义两个placeholder
x = tf.placeholder(tf.float32,[None,784])
y = tf.placeholder(tf.float32,[None,10])

#创建一个简单的神经网络
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
prediction = tf.nn.softmax(tf.matmul(x,W)+b)

#二次代价函数
#loss = tf.reduce_mean(tf.square(y-prediction))
#交叉熵代价函数
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=prediction))
#使用梯度下降法
train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss)

#初始化变量
init = tf.global_variables_initializer()

#结果存放在一个布尔型列表中
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))#argmax返回一维张量中最大的值所在的位置
#求准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

with tf.Session() as sess:
    sess.run(init)
    for epoch in range(20):
        for batch in range(n_batch):
            batch_xs,batch_ys =  mnist.train.next_batch(batch_size)
            sess.run(train_step,feed_dict={x:batch_xs, y:batch_ys})
        
        acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
        print("epoch " + str(epoch)+ "   acc " +str(acc))


这是一个简单的结构,输入到输出,没有隐层,可以添加隐层。

# 定义神经网络中间层
Weights_L1 = tf.Variable(tf.random_normal([784,100]))
biases_L1 = tf.Variable(tf.zeros([100]))
Wx_plus_b_L1 = tf.matmul(x, Weights_L1)+biases_L1
L1 = tf.nn.tanh(Wx_plus_b_L1)
#定义神经网络输出层
Weights_L2 = tf.Variable(tf.random_normal([100, 10]))
biases_L2 = tf.Variable(tf.zeros([10]))
Wx_plus_b_L2 = tf.matmul(L1, Weights_L2) + biases_L2
prediction = tf.nn.softmax(Wx_plus_b_L2)

激活函数为线性函数----------->代价函数选择二次代价函数

loss = tf.reduce_mean(tf.square(y-prediction))

激活函数为“S"型(sigmod; tanh)---------------->代价函数选择交叉熵代价函数

loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=prediction))


版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lansetiankong2104/article/details/79962162

Python与人工神经网络(5)——交叉熵成本函数

我们花了两篇文章的篇幅,建立了一个神经网络来识别手写图像,看起来效果相当不错,超过95%的正确率,实际上如果第二层使用100个隐藏神经元的时候,准确率可以再提升一个百分点。在这个过程中我们主要使用了随...
  • zxhm001
  • zxhm001
  • 2017-03-19 14:21:04
  • 1492

机器学习基础(六)—— 交叉熵代价函数(cross-entropy error)

交叉熵代价函数比较困惑的一点是,Logistic Regression 中存在交叉熵作为误差函数,神经网络(neural network)也可以使用交叉熵作为代价函数,然而形式上却有一些不同Logis...
  • lanchunhui
  • lanchunhui
  • 2016-03-24 12:09:59
  • 29487

交叉熵代价函数(作用及公式推导)

交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式。与二次代价函数相比,它能更有效地促进ANN的训练。在介绍交叉熵代价函...
  • oppo62258801
  • oppo62258801
  • 2017-06-15 17:53:40
  • 357

交叉熵代价函数

本文是《Neural networks and deep learning》概览 中第三章的一部分,讲machine learning算法中用得很多的交叉熵代价函数。 1.从方差代价函数说起 ...
  • memray
  • memray
  • 2016-06-06 12:00:45
  • 1122

理解交叉熵作为损失函数在神经网络中的作用

交叉熵的作用通过神经网络解决多分类问题时,最常用的一种方式就是在最后一层设置n个输出节点,无论在浅层神经网络还是在CNN中都是如此,比如,在AlexNet中最后的输出层有1000个节点: 而即便...
  • chaipp0607
  • chaipp0607
  • 2017-06-18 15:59:10
  • 4743

机器学习基础(五十八)—— 香农熵、相对熵(KL散度)与交叉熵

香农熵(Shannon entropy)信息熵(又叫香农熵)反映了一个系统的无序化(有序化)程度,一个系统越有序,信息熵就越低,反之就越高。如果一个随机变量 XX 的可能取值为 X={x1,x2,…,...
  • lanchunhui
  • lanchunhui
  • 2016-04-28 21:01:02
  • 8731

交叉熵

作者:知乎用户 链接:https://www.zhihu.com/question/41252833/answer/108777563 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,...
  • lvdan1
  • lvdan1
  • 2017-11-23 14:56:37
  • 36

tensorflow--交叉熵cross_entropy的两种实现方式

交叉熵多用于分类问题,在分类问题中的效果很好。下面介绍tensorflow中两种交叉熵的实现方式: 首先介绍几个概念 :   logits: 未归一化的概率, 一般也就是 softmax层的输入 ...
  • wenqiwenqi123
  • wenqiwenqi123
  • 2017-12-29 17:12:19
  • 493

交叉熵的解决代价函数为二次函数导致学习慢问题(S型激活函数)

1.从方差代价函数说起 代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为: 其中y是我们期望的输出,a为神经元的实际输出...
  • Touch_Dream
  • Touch_Dream
  • 2017-03-31 23:42:57
  • 658

BP神经网络——从二次代价函数(Quadratic cost)到交叉熵(cross-entropy cost)代价函数

我们首先来回顾BP神经网络反向传播过程: 1. 首先在当前网络状态((w,b)(w,b)给定)下,根据feedforward(a=σ(w⋅a+b)a=\sigma(w\cdot a+b)),预测当前...
  • lanchunhui
  • lanchunhui
  • 2015-11-28 18:20:48
  • 4220
收藏助手
不良信息举报
您举报文章:Tensorflow_MNIST_data_二次代价函数、交叉熵代价函数准确率比较
举报原因:
原因补充:

(最多只允许输入30个字)