多分类情况使用softmax函数激活

softmax多分类

对数几率回归解决的是二分类问题，对于多分类问题，我们可以使用softmax函数，它是对数几率回归在N个可能的值上的推广。

神经网络的原始输出不是一个概率值，实质上是输入函数的值做了复杂的加权和非线性处理后的一个值，那如何将这个输出变为概率分布呢？这就是softmax层的作用。

softmax公式：

softmax层要求每个样本必须属于某个类别，且所有可能的样本均被覆盖。

softmax的样本分量之和为1，当只有两个类别时，与对数几率回归完全相同。在tf.keras里，对于多分类问题我们使用categorical_crossentropy和sparse_categorical_crossentropy来计算softmax交叉熵。

Fashion MNIST数据集

是经典的MNIST数据集的简易替换，MNIST数据集包含手写数字(0、1、2等)的图像，这些图像格式与本例子中使用的服饰图像格式相同。比常规MNIST手写数据集更具有挑战性。这两个数据集都相对比较小，用于验证某个算法能否如期正常运行。它们都是测试和调试代码的良好起点。

Fashion MNIST数据集包含70000张灰度图像，涵盖10个类别。

本例子将使用60000张图像训练网络，并使用10000张图像评估经过学习的网络分类图像的准确率。可以从TensorFlow直接访问Fashion MNIST，只需导入和加载数据即可。

import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np

# 必须要先运行load_data()，即使下载失败也会在C:\Users\DELL\.keras\datasets目录下创建一个文件夹fashion-mnist，
# 然后再把下载的数据放进这个文件夹就加载本地的数据了。
(train_image, train_label), (test_image, test_label) = tf.keras.datasets.fashion_mnist.load_data()

train_shape = train_image.shape
# (60000, 28, 28) 6万张图像，28×28
print(train_shape)

test_shape = test_image.shape

# (10000, 28, 28) 1万张图像，28×28
print(test_shape)

# 显示第一张图
plt.imshow(train_image[0])
plt.show()

# 显示第一张图片的矩阵
print(train_image[0])
# 显示第一张图片的矩阵里数值的最大值可知是（0,255）取值
print(np.max(train_image[0]))
# 显示label的取值就是每张图片的分类
print(train_label)

# 数据归一化，将图片的取值变为0~1
train_image = train_image / 255
test_image = test_image / 255

# 建立模型
model = tf.keras.Sequential()
# 添加层
model.add(tf.keras.layers.Flatten(input_shape=(28, 28)))  # Flatten将二维数据扁平为28*28向量
model.add(tf.keras.layers.Dense(128, activation='relu'))  # 接着使用Dense处理一维数据，128个隐藏单元
model.add(tf.keras.layers.Dense(10, activation='softmax'))  # 输出层，使用softmax激活函数，将输出变为10个概率分类

# 查看网络结构
model.summary()

# 编译模型
model.compile(
    optimizer='adam',
    loss='sparse_categorical_crossentropy',  # 使用数字分类
    metrics=['acc']
)

# 训练
history = model.fit(train_image, train_label, epochs=5)

# 测试
model.evaluate(test_image, test_label)

sparse_categorical_crossentropy计算softmax交叉熵标签使用数字顺序变化值时使用这个函数。

categorical_crossentropy计算softmax交叉熵标签使用独热编码时就使用这个函数。独热编码：是数值化的方法；比如给三个城市编码，beijing[1, 0, 0], shanghai[0, 1, 0], shenzhen[0, 0, 1]。就是独热编码

# 设置独热编码
# 顺序编码转化为独热编码
train_label_onehot = tf.keras.utils.to_categorical(train_label)

# 查看转换后的编码
print(train_label_onehot[-1])

test_label_onehot = tf.keras.utils.to_categorical(test_label)
print(test_label_onehot)
# 分类文本处理时也会用到度热编码

# 建立模型
model = tf.keras.Sequential()
# 添加层
model.add(tf.keras.layers.Flatten(input_shape=(28, 28)))  # Flatten将二维数据扁平为28*28向量
model.add(tf.keras.layers.Dense(128, activation='relu'))  # 接着使用Dense处理一维数据，128个隐藏单元
model.add(tf.keras.layers.Dense(10, activation='softmax'))  # 输出层，使用softmax激活函数，将输出变为10个概率分类

# 查看网络结构
model.summary()

# 编译模型
model.compile(
    optimizer='adam',
    loss='categorical_crossentropy',  # 使用数字分类
    metrics=['acc']
)

# 训练
history = model.fit(train_image, train_label_onehot, epochs=5)

# 对test数据做预测
predict = model.predict(test_image)
# 得到预测的结果是10000个长度为10的向量
print(predict.shape)
# 得到第一张图片预测的向量
print(predict[0])
# 得到第一个向量最大概率值
print(np.argmax(predict[0]))
# 得到测试标签的一张图片的标签值，发现是相同的。
print(test_label[0])