独热编码与交叉熵损失函数

在文章 softmax多分类中的简单示例中我们讲到了在tf.keras里，对于多分类问题我们使用 categorical_crossentropy 和 sparse_categorical_crossentropy来计算softmax交叉熵。然后在那里面我们使用的是sparse_categorical_crossentropy， 那么categorical_crossentropy在什么情况下使用呢？
当我们的lable是顺序标签的时候，使用sparse_categorical_crossentropy作为损失函数，当我们的label是独热编码的时候，我们使用categorical_crossentropy作为损失函数。

简单解释一下顺序标签与独热编码标签的区别。
假设我们目前对人民币进行分类，5元为类别0,10元为类别1，20元为类别2，这个时候就是顺序编码。然后对于独热编码呢？这个时候5元的标签也就编码为[1,0,0],10元的编码为[0,1,0],20元的编码为[0,0,1]。

一、独热编码数据训练的示例代码

该代码就是对softmax多分类中的简单示例数据标签的修改，以及损失函数的修改，将顺序编码的标签改为了独热编码的标签，损失函数改为了categorical_crossentropy

1.导入第三方库

import matplotlib.pyplot as plt
import tensorflow as tf
import pandas as pd
import numpy as np
%matplotlib inline

2.加载fashion_mnist数据集

(train_image,train_label),(test_image,test_label) = tf.keras.datasets.fashion_mnist.load_data()
# 训练集的形状(60000, 28, 28)
print("训练集的形状:",train_image.shape)
# 训练集标签形状(60000,)
print("训练集标签形状:",train_label.shape)
# 打印训练集第一张图片看看
print(train_image[0])
# 查看第一张图片的标签
print(train_label[0])
# 查看训练集第一张图片
plt.imshow(train_image[0])

3.数据处理

对数据进行归一化，将标签转化为独热编码。

# 对数据进行归一化
train_image = train_image/255.
test_image = test_image/255.
# 将顺序编码转为独热编码
train_label_onehot = tf.keras.utils.to_categorical(train_label)
test_label_onehot = tf.keras.utils.to_categorical(test_label)
# 查看第一张图片的标签
print(train_label[0])

4.搭建模型

model = tf.keras.Sequential()
model.add(tf.keras.layers.Flatten(input_shape=(28,28)))
model.add(tf.keras.layers.Dense(128,activation="relu"))
# 最终输出层，由于有10个类别，所以输出单元个数为10
model.add(tf.keras.layers.Dense(10,activation="softmax"))

5.训练模型

这里我们使用categorical_crossentropy作为损失函数。

# 定义优化器和损失函数
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.01),
              loss='categorical_crossentropy',
              metrics=['acc']
)
model.fit(train_image, train_label_onehot, epochs=5)

6.模型预测

# 模型预测
predict = model.predict(test_image)
# (10000, 28, 28)
print(test_image.shape)
# test数据集形状10000 28 28，用10000个10维的向量输出预测结果。10个概率值中最大的值所在的索引就是预测结果。
print(predict.shape)  # (10000, 10)
print(predict[0]) # 返回的是一个含10个概率值的列表，分别代表着每个类别的概率
# 取出概率最大的位置的索引值
print(np.argmax(predict[0])) # 9