[TensorFlow入门] 线性分类器

在编写线性分类器之前，我们先来了解一下什么是线性函数。

线性函数

当我们想把输入x转化为标签y的时候，比如，把图像分类成数字，我们会推导出一个函数 y=Wx+b。

x将是我们的像素值列表，y将是对数，对应每一个数字。让我们来看看y = Wx，其中权重W确定x在预测每个y时的影响。

y = Wx允许我们绘出一条直线将数据对应到各自的标签。 然而，这条线必须通过原点，因为当x等于0，y也等于0。

我们希望能够将线从原点移开以适应更复杂的数据。最简单的解决方案是给函数添加一个数字，我们称之为“bias”（偏差）。

我们的新函数变为Wx + b，允许我们对线性可分离数据创建预测。让我们使用一个具体的例子并计算结果。

矩阵乘法

a和b分别等于多少呢？

转置

我们一直使用y = Wx + b函数作为线性函数。 但是有另一个函数做同样的事情，y = xW + b。 这些函数做同样的事情，可以互换，除了涉及的矩阵的维度。

要从一个函数转换到另一个函数，您只需要交换每个矩阵的行和列维度。这称为转置。 TensorFlow使用的是xW + b。

这个例子与之前的是相同的，除了矩阵被转置。 x现在具有尺寸1x3，现在W具有尺寸3x2，并且b现在具有尺寸1x2。 计算结果将产生一个尺寸为1x2的矩阵。 此1x2矩阵中的元素与测验的2x1矩阵中的元素相同。 同样，这些矩阵被简单地转置。

现在，你明白线性函数了吗？下面让我们通过tensorflow来训练这个函数。

TensorFlow中的Weights（权重）和Bias（偏差）

训练神经网络的目的是修改权重和偏差以最好地预测标签。 为了使用权重和偏差，你需要一个可以修改的Tensor。也就是说不能使用tf.placeholder()和tf.constant()，因为那些Tensors不能被修改。所以这里应该使用tf.Variable。

tf.Variable()

x = tf.Variable(5)

tf.Variable类创建了一个具有可以修改的初始值的张量，很像一个普通的Python变量。 该张量在会话中存储其状态，因此您必须手动初始化张量的状态。

使用tf.global_variables_initializer()函数初始化所有可变张量的状态。

init = tf.global_variables_initializer()
with tf.Session() as sess:
    sess.run(init)

使用tf.Variable类允许我们改变权重和偏差，但是需要选择一个初始值。如上所示，使用session(会话)调用tf.global_variables_initializer()操作。tf.global_variables_initializer()会返回一个操作，从计算图中初始化所有TensorFlow变量。

用正态分布的随机数初始化权重是一个好的做法。而使权重随机化则有助于避免模型在每次训练时都卡在相同的位置。

类似地，从正态分布选择权重可以防止任何一个权重压倒其他权重。

TensorFlow提供了一个tf.truncated_normal()函数从正态分布生成随机数。

tf.truncated_normal()

n_features = 120
n_labels = 5
weights = tf.Variable(tf.truncated_normal((n_features, n_labels)))

tf.truncated_normal()函数返回具有来自正态分布的随机值的张量，该正态分布的幅度与平均值相差不超过2个标准偏差。

由于权重已经帮助防止模型卡住，你不需要再随机化偏差。 在这里最简单的解决方案，将偏差设置为0。

tf.zeros()

_labels = 5
bias = tf.Variable(tf.zeros(n_labels))

tf.zeros()函数返回具有全零的张量。

线性分类器

下面让我们使用tenosrflow构建一个线性分类器。

我们将使用TensorFlow的MNIST数据集对手写数字0,1和2进行分类。 以上是您将接受培训的数据的一个小样本。 注意一些1是如何用顶部和不同角度的衬线写的。 相似性和差异将在塑造模型的权重中起到作用。

上面的图像是数字0,1和2的训练权重。权重显示他们找到的每个数字的唯一属性。

# quiz.py
# Note: You can't run code in this tab
import tensorflow as tf

def weights(n_features, n_labels):
    """
    Return TensorFlow weights
    :param n_features: Number of features
    :param n_labels: Number of labels
    :return: TensorFlow weights
    """
    # TODO: Return weights
    return tf.Variable(tf.truncated_normal((n_features, n_labels)))


def biases(n_labels):
    """
    Return TensorFlow bias
    :param n_labels: Number of labels
    :return: TensorFlow bias
    """
    # TODO: Return biases
    return tf.Variable(tf.zeros(n_labels))


def linear(input, w, b):
    """
    Return linear function in TensorFlow
    :param input: TensorFlow input
    :param w: TensorFlow weights
    :param b: TensorFlow biases
    :return: TensorFlow linear function
    """
    # TODO: Linear Function (xW + b)
    return tf.add(tf.matmul(input, w), b)

import tensorflow as tf
# Sandbox
# Note: You can't run code in this tab
from tensorflow.examples.tutorials.mnist import input_data
from quiz import weights, biases, linear


def mnist_features_labels(n_labels):
    """
    Gets the first <n> labels from the MNIST dataset
    :param n_labels: Number of labels to use
    :return: Tuple of feature list and label list
    """
    mnist_features = []
    mnist_labels = []

    mnist = input_data.read_data_sets('/datasets/ud730/mnist', one_hot=True)

    # In order to make quizzes run faster, we're only looking at 10000 images
    for mnist_feature, mnist_label in zip(*mnist.train.next_batch(10000)):

        # Add features and labels if it's for the first <n>th labels
        if mnist_label[:n_labels].any():
            mnist_features.append(mnist_feature)
            mnist_labels.append(mnist_label[:n_labels])

    return mnist_features, mnist_labels


# Number of features (28*28 image is 784 features)
n_features = 784
# Number of labels
n_labels = 3

# Features and Labels
features = tf.placeholder(tf.float32)
labels = tf.placeholder(tf.float32)

# Weights and Biases
w = weights(n_features, n_labels)
b = biases(n_labels)

# Linear Function xW + b
logits = linear(features, w, b)

# Training data
train_features, train_labels = mnist_features_labels(n_labels)

with tf.Session() as session:
    session.run(tf.global_variables_initializer())

    # Softmax
    prediction = tf.nn.softmax(logits)

    # Cross entropy
    # This quantifies how far off the predictions were.
    # You'll learn more about this in future lessons.
    cross_entropy = -tf.reduce_sum(labels * tf.log(prediction), reduction_indices=1)

    # Training loss
    # You'll learn more about this in future lessons.
    loss = tf.reduce_mean(cross_entropy)

    # Rate at which the weights are changed
    # You'll learn more about this in future lessons.
    learning_rate = 0.08

    # Gradient Descent
    # This is the method used to train the model
    # You'll learn more about this in future lessons.
    optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)

    # Run optimizer and get loss
    _, l = session.run(
        [optimizer, loss],
        feed_dict={features: train_features, labels: train_labels})

# Print loss
print('Loss: {}'.format(l))