在文章 softmax多分类中的简单示例中我们讲到了在tf.keras里,对于多分类问题我们使用
categorical_crossentropy
和
sparse_categorical_crossentropy
来计算softmax交叉熵。然后在那里面我们使用的是sparse_categorical_crossentropy,
那么categorical_crossentropy在什么情况下使用呢?
当我们的lable是顺序标签的时候,使用sparse_categorical_crossentropy作为损失函数,当我们的label是独热编码的时候,我们使用categorical_crossentropy作为损失函数。
简单解释一下顺序标签与独热编码标签的区别。
假设我们目前对人民币进行分类,5元为类别0,10元为类别1,20元为类别2,这个时候就是顺序编码。然后对于独热编码呢?这个时候5元的标签也就编码为[1,0,0],10元的编码为[0,1,0],20元的编码为[0,0,1]。
一、独热编码数据训练的示例代码
该代码就是对softmax多分类中的简单示例数据标签的修改,以及损失函数的修改,将顺序编码的标签改为了独热编码的标签,损失函数改为了categorical_crossentropy
1.导入第三方库
import matplotlib.pyplot as plt
import tensorflow as tf
import pandas as pd
import numpy as np
%matplotlib inline
2.加载fashion_mnist数据集
(train_image,train_label),(test_image,test_label) = tf.keras.datasets.fashion_mnist.load_data()
# 训练集的形状(60000, 28, 28)
print("训练集的形状:",train_image.shape)
# 训练集标签形状(60000,)
print("训练集标签形状:",train_label.shape)
# 打印训练集第一张图片看看
print(train_image[0])
# 查看第一张图片的标签
print(train_label[0])
# 查看训练集第一张图片
plt.imshow(train_image[0])
3.数据处理
对数据进行归一化,将标签转化为独热编码。
# 对数据进行归一化
train_image = train_image/255.
test_image = test_image/255.
# 将顺序编码转为独热编码
train_label_onehot = tf.keras.utils.to_categorical(train_label)
test_label_onehot = tf.keras.utils.to_categorical(test_label)
# 查看第一张图片的标签
print(train_label[0])
4.搭建模型
model = tf.keras.Sequential()
model.add(tf.keras.layers.Flatten(input_shape=(28,28)))
model.add(tf.keras.layers.Dense(128,activation="relu"))
# 最终输出层,由于有10个类别,所以输出单元个数为10
model.add(tf.keras.layers.Dense(10,activation="softmax"))
5.训练模型
这里我们使用categorical_crossentropy
作为损失函数。
# 定义优化器和损失函数
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.01),
loss='categorical_crossentropy',
metrics=['acc']
)
model.fit(train_image, train_label_onehot, epochs=5)
6.模型预测
# 模型预测
predict = model.predict(test_image)
# (10000, 28, 28)
print(test_image.shape)
# test数据集形状10000 28 28,用10000个10维的向量输出预测结果。10个概率值中最大的值所在的索引就是预测结果。
print(predict.shape) # (10000, 10)
print(predict[0]) # 返回的是一个含10个概率值的列表,分别代表着每个类别的概率
# 取出概率最大的位置的索引值
print(np.argmax(predict[0])) # 9