tensorflow学习日志1

tensorflow学习日志1@TOC

跑了一遍mnist例题
code 如下：
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)

x是特征值

x = tf.placeholder(tf.float32, [None, 784])

w表示每一个特征值（像素点）会影响结果的权重

W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
y = tf.matmul(x, W) + b

y_是图片实际对应的值

y_ = tf.placeholder(tf.float32, [None, 10])

cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
sess = tf.InteractiveSession()
tf.global_variables_initializer().run()

mnist.train 训练数据

for _ in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

#取得y得最大概率对应的数组索引来和y_的数组索引对比，如果索引相同，则表示预测正确
correct_prediction = tf.equal(tf.arg_max(y, 1), tf.arg_max(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

print(sess.run(accuracy, feed_dict={x: mnist.test.images,
y_: mnist.test.labels}))
在input data 的时候有警告，说是将要把mnist data数据 从tensorflow移除, input 进去的mnist data 是一个class, 现在还不知道怎么查看里面的内容，只能通过mnist.train.images.shape mnist.train.labels.shape来观察其尺寸，要是不知道里面训练文件如何命名该怎么办？
这里使用的gradient descent optimizer，和for循环连在一起应是MBGD算法
这里用tf.nn.softmax_cross_entropy_with_logits
logit 是log(odds) odds是事件发生的概率与事件不发生的概率之比，Logit的一个很重要的特性，就是它没有上下限，灾难性天气发送的概率P非常低（接近于0），但这类事件类似于黑天鹅事件（特征为：影响重大、难以预测及事后可解释），由于P对接近于0的事件不敏感，通过P来度量，很难找到刻画发生这类事件的前兆信息。

这时，Logit函数的优势就体现出来了。logit在P=0或P=1附近，Logit非常敏感（值域变化非常大）。通过Logit变换，P从0到1变化时，Logit是从- \infinity到+ \infinity。Logit值域的不受限，让回归拟合变得容易了！
tf.nn.softmax_cross_entropy_with_logits(
_sentinel=None,
labels=None,
logits=None,
dim=-1,
name=None
)
第一个参数基本不用。此处不说明。
第二个参数label的含义就是一个分类标签，所不同的是，这个label是分类的概率，比如说[0.2,0.3,0.5]，labels的每一行必须是一个概率分布（即概率之合加起来为1）。

现在来说明第三个参数logits，logit的值域范围[-inf,+inf]（即正负无穷区间）。我们可以把logist理解为原生态的、未经缩放的，可视为一种未归一化的l“概率替代物”，如[4, 1, -2]。它可以是其他分类器（如逻辑回归等、SVM等）的输出。
例如，上述向量中“4”的值最大，因此，属于第1类的概率最大，“1”的值次之，所以属于第2类的概率次之。

交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。
由于logis本身并不是一个概率，所以我们需要把logist的值变化成“概率模样”。这时Softmax函数该出场了。Softmax把一个系列的概率替代物（logits）从[-inf, +inf] 映射到[0,1]。除此之外，Softmax还保证把所有参与映射的值累计之和等于1，变成诸如[0.95, 0.05, 0]的概率向量。这样一来，经过Softmax加工的数据可以当做概率来用（如图2所示）。
经过softmax的加工，就变成“归一化”的概率（设为p1），这个新生成的概率p1，和labels所代表的概率分布（设为p2）一起作为参数，用来计算交叉熵。

这个差异信息，作为我们网络调参的依据，理想情况下，这两个分布尽量趋近最好。如果有差异（也可以理解为误差信号），我们就调整参数，让其变得更小，这就是损失（误差）函数的作用。

最终通过不断地调参，logit被锁定在一个最佳值（所谓最佳，是指让交叉熵最小，此时的网络参数也是最优的）
节选自 张玉宏《深度学习之美》第11章节，电子工业出版社，博文视点，2018年7月出版

但是在这里他没有指明用什么activation function, 默认是reLu吗？

x（图片的特征值）：这里使用了一个2828=784列的数据来表示一个图片的构成，也就是说，每一个点都是这个图片的一个特征，这个其实比较好理解，因为每一个点都会对图片的样子和表达的含义有影响，只是影响的大小不同而已。至于为什么要将2828的矩阵摊平成为一个1行784列的一维数组，我猜测可能是因为这样做会更加简单直观。

W（特征值对应的权重）：这个值很重要，因为我们深度学习的过程，就是发现特征，经过一系列训练，从而得出每一个特征对结果影响的权重，我们训练，就是为了得到这个最佳权重值。

b（偏置量）：是为了去线性话（我不是太清楚为什么需要这个值）

y（预测的结果）：单个样本被预测出来是哪个数字的概率，比如：有可能结果是[ 1.07476616 -4.54194021 2.98073649 -7.42985344 3.29253793 1.96750617 8.59438515 -6.65950203 1.68721473 -0.9658531 ]，则分别表示是0，1，2，3，4，5，6，7，8，9的概率，然后会取一个最大值来作为本次预测的结果，对于这个数组来说，结果是6（8.59438515）

y_（真实结果）：来自MNIST的训练集，每一个图片所对应的真实值，如果是6，则表示为：[0 0 0 0 0 1 0 0 0]

再下面两行代码是损失函数（交叉熵）和梯度下降算法，通过不断的调整权重和偏置量的值，来逐步减小根据计算的预测结果和提供的真实结果之间的差异，以达到训练模型的目的。

算法确定以后便可以开始训练模型了，如下：
for _ in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
mnist.train.next_batch(100)是从训练集里一次提取100张图片数据来训练，然后循环1000次，以达到训练的目的。

之后的两行代码都有注释，不再累述。我们看最后一行代码：
print(sess.run(accuracy, feed_dict={x: mnist.test.images,
y_: mnist.test.labels}))

mnist.test.images和mnist.test.labels是测试集，用来测试。accuracy是预测准确率。

当代码运行起来以后，我们发现，准确率大概在92%左右浮动。这个时候我们可能想看看到底是什么样的图片让预测不准。则添加如下代码：
for i in range(0, len(mnist.test.images)):
result = sess.run(correct_prediction, feed_dict={x: np.array([mnist.test.images[i]]), y_: np.array([mnist.test.labels[i]])})
if not result:
print(‘预测的值是：’,sess.run(y, feed_dict={x: np.array([mnist.test.images[i]]), y_: np.array([mnist.test.labels[i]])}))
print(‘实际的值是：’,sess.run(y_,feed_dict={x: np.array([mnist.test.images[i]]), y_: np.array([mnist.test.labels[i]])}))
one_pic_arr = np.reshape(mnist.test.images[i], (28, 28))
pic_matrix = np.matrix(one_pic_arr, dtype=“float”)
plt.imshow(pic_matrix)
pylab.show()
break

print(sess.run(accuracy, feed_dict={x: mnist.test.images,
y_: mnist.test.labels}))

for循环内指明一旦result为false，就表示出现了预测值和实际值不符合的图片，然后我们把值和图片分别打印出来看看：

预测的值是： [[ 1.82234347 -4.87242508 2.63052988 -6.56350136 2.73666072 2.30682945 8.59051228 -7.20512581 1.45552373 -0.90134078]]

对应的是数字6。
实际的值是： [[ 0. 0. 0. 0. 0. 1. 0. 0. 0. 0.]]

对应的是数字5。
节选自Tensorflow之MNIST解析:https://www.cnblogs.com/lizheng114/p/7439556.html