【机器学习笔记2.5】用Softmax回归做二分类（Tensorflow实现）

最新推荐文章于 2024-08-20 19:08:50 发布

取取经

最新推荐文章于 2024-08-20 19:08:50 发布

阅读量3.7k

点赞数

分类专栏：机器学习笔记

本文链接：https://blog.csdn.net/yahstudio/article/details/87541051

版权

机器学习笔记专栏收录该内容

11 篇文章 0 订阅

订阅专栏

Softmax回归和逻辑回归的区别

在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 $y$ 可以取两个以上的值[1]。当类别数 $k = 2$ 时，softmax 回归退化为 logistic 回归。

Softmax回归 vs. k个logistic回归

如果你在开发一个音乐分类的应用，需要对k种类型的音乐进行识别，那么是选择使用 softmax 分类器呢，还是使用 logistic 回归算法建立 k 个独立的二元分类器呢？

这一选择取决于你的类别之间是否互斥，例如，如果你有四个类别的音乐，分别为：古典音乐、乡村音乐、摇滚乐和爵士乐，那么你可以假设每个训练样本只会被打上一个标签（即：一首歌只能属于这四种音乐类型的其中一种），此时你应该使用类别数 k = 4 的softmax回归。（如果在你的数据集中，有的歌曲不属于以上四类的其中任何一类，那么你可以添加一个“其他类”，并将类别数 k 设为5。）

如果你的四个类别如下：人声音乐、舞曲、影视原声、流行歌曲，那么这些类别之间并不是互斥的。例如：一首歌曲可以来源于影视原声，同时也包含人声。这种情况下，使用4个二分类的 logistic 回归分类器更为合适。这样，对于每个新的音乐作品，我们的算法可以分别判断它是否属于各个类别。

现在我们来看一个计算视觉领域的例子，你的任务是将图像分到三个不同类别中。(i) 假设这三个类别分别是：室内场景、户外城区场景、户外荒野场景。你会使用sofmax回归还是 3个logistic 回归分类器呢？ (ii) 现在假设这三个类别分别是室内场景、黑白图片、包含人物的图片，你又会选择 softmax 回归还是多个 logistic 回归分类器呢？

在第一个例子中，三个类别是互斥的，因此更适于选择softmax回归分类器。而在第二个例子中，建立三个独立的 logistic回归分类器更加合适。

代码示例

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt


def loadDataSet(file_path):
    dataMat = []
    labelMat = []
    fr = open(file_path)
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat, labelMat

# 加载数据
dataMat, labelMat = loadDataSet('testSet.txt')  # 《机器学习实战》逻辑回归中用的数据集
dataMat = np.mat(dataMat).astype(np.float32)
labelMat = np.mat(labelMat).transpose()

# 制作one-hot格式的label
onehot_list = []
for i in range(len(labelMat)):
    onehot = [0, 0]
    onehot[labelMat[i].item()] = 1
    onehot_list.append(onehot)
labelMat = np.array(onehot_list).astype(np.float32)

class_num = 2
threshold = 1.0e-2

x_data = tf.placeholder("float32", [None, 2])
y_data = tf.placeholder("float32", [None, class_num])
weight = tf.Variable(tf.ones([2, class_num]))
bias = tf.Variable(tf.ones([class_num]))
y_model = tf.nn.softmax(tf.matmul(x_data, weight) + bias)

loss = tf.reduce_sum(tf.pow((y_model - y_data), 2))
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)
init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init)

step = 0
loss_buf = []
train_num = 70  # 一共就100个样本，拿出70个出来用于训练，剩下的30个用于测试
for _ in range(100):
    for data, label in zip(dataMat[0:train_num, :], labelMat[0:train_num, :]):
        label = label.reshape([1, 2])
        sess.run(train_step, feed_dict={x_data: data, y_data: label})

        step += 1
        '''
        if step % 10 == 0:
            print(step, sess.run(weight).flatten(), sess.run(bias).flatten())
        '''

    loss_val = sess.run(loss, feed_dict={x_data: data, y_data: label})
    print('loss_val = ', loss_val)
    loss_buf.append(loss_val)
    if loss_val <= threshold:
        flag = 0
    #print('weight = ', weight.eval(sess))

# 测试准确率
correct_prediction = tf.equal(tf.argmax(y_model, 1), tf.argmax(y_data, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
print(sess.run(accuracy, feed_dict={x_data: dataMat[train_num+1:100, :], y_data: labelMat[train_num+1:100, :]}))
sess.close()

# 画出loss曲线
loss_ndarray = np.array(loss_buf)
loss_size = np.arange(len(loss_ndarray))
plt.plot(loss_size, loss_ndarray, 'b+', label='loss')
plt.show()
print('end')

loss曲线：
enter image description here

疑问：怎样画出Softmax回归得到的分类直线？
答：会提出这样的问题应该是Softmax回归和逻辑回归的概念还没弄清楚。
（me）在Softmax回归中，输出结果是one-hot形式的向量，向量的每一维的输出非0即1，根据Softmax回归的假设模型 $h_{\theta}(x^{(i)})$ 可知，每一维的参数 ${\theta}_j$ 都不相同，所以也不能像逻辑回归中那样画出一条分类直线了。