斯坦福大学CS231n——assignmentv1——linear_classifier

开篇

我们这一系列前几篇文章其实都是让大家更加熟悉损失函数的编写，根本不涉及到什么数据处理，无非就是在损失函数中有0有1，我们需要作出区分并且计算出损失函数和梯度值，从而更新W权重。
这一切其实是在干嘛呢？其实都是训练的步骤，我们训练模型的时候，就是在不断地迭代，不断地计算损失函数，不断地更新W权重。最后预测模型，计算精度。那这次我们要聊的就是把我们之前学过的损失函数，应用到一个具体的模型训练中——线性分类模型。

线性分类模型linear_classifier

线性分类模型真的是最简单最基础的分类模型，其准确率不一定很高，但其实在分类器这方面有很高的地位，因为很多分类器是根据它演变的。
这次作业没有描述这个线性分类模型具体属于哪一种(svm或者是softmax)，但是不影响我们去对模型训练和预测。
1。训练
训练是需要分批次，把我们的数据分成不同的批次进行训练，每一个批次包含一定数量的样本，在cs231n中称其为小规模批量梯度下降。
首先我们随机选出一些X和y的训练样本构成一个批次，将这些数据放入迭代器中进行训练，计算损失和更新权重，直到满足迭代次数训练完成。(这里面涉及到一个官方定义的损失函数的编写，但是源代码给出的是pass，也没有要求我们完成，但我们下面自己写了一个loss，大家可以借鉴一下，如果哪里有错误，评论见)
2.预测
预测就很简单了，预测的结果一定是num_trainx1的向量，因为每个样本我们只预测一个类别。且预测的是得分最高的类别。这个类别怎么求呢?用我们训练好的权重W，乘以X就可以计算得出了(注意这里axisz指定为1，因为我们要在每个样本上都算出一个最大值)。

3.损失函数的定义
这里是我自己写的，官方代码给了pass而且没有要求学生完成，与之前写的svm_loss和softmax_loss类似，大家参考一下即可。
我们直接看代码。

代码

import numpy as np
from personal.assignment_1.linear_svm import *
from personal.assignment_1.softmax import *

class LinearClassifier(object):
    def __init__(self):
        self.W = None
    def train(self,X,y,learn_rate = 1e-3,reg = 1e-5,num_iters = 100,batch_size = 200,verbose = False):
        num_train,dim = X.shape
        num_classes = max(y) + 1
        if not self.W:
            self.W = np.random.randn(dim,num_classes)
        loss_history = []
        for i in range(num_iters):
            X_batch = None
            y_batch = None
            # 选出batch_size个样本作为一个批次
            temp = np.random.choice(a = num_train,size = batch_size,replace = False)
            X_batch = X[temp]
            y_batch = y_batch[temp]
            loss,grad = self.loss(X_batch,y_batch,reg)

            loss_history.append(loss)
            self.W -= learn_rate * grad
            if verbose and i % 100 == 0:
                print('iteration %d / %d: loss %f' % (i, num_iters, loss))

        return loss_history
    def predict(self,X):
        y_pred = np.zeros(X.shape[0])
        # axis = 1表示在每一个样本上都算一个最大值
        y_pred = np.argmax(X.dot(self.W),axis = 1)
        return y_pred
    def loss(self,X_batch,y_batch,reg):
        loss = 0.0
        num_train,dim = X_batch.shape
        num_classes = max(y_batch) + 1
        dw = np.zeros(dim,num_classes)
        for i in range(num_train):
            scores = X_batch[i].dot(self.W)
            correct_classes_scores = self.predict(X_batch,y_batch,reg)
            for j in range(num_classes):
                margin = scores[j] - correct_classes_scores + 1
                if y_batch[i] == j:
                    continue
                if margin > 0:
                    loss += scores[j] - correct_classes_scores + 1
                    dw[:,j] += X_batch[i].T
                    dw[:,y_batch[i]] -= X_batch[i].T
        return loss,dw
class LinearSVM(LinearClassifier):
    """ A subclass that uses the Multiclass SVM loss function """

    def loss(self, X_batch, y_batch, reg):
        return svm_loss_vectorized(self.W, X_batch, y_batch, reg)


class Softmax(LinearClassifier):
    """ A subclass that uses the Softmax + Cross-entropy loss function """

    def loss(self, X_batch, y_batch, reg):
        return softmax_loss_vectorized(self.W, X_batch, y_batch, reg)

总结

现在我们完成了一个我们自己训练的模型并且对其进行了预测，但是这只是个简单的模型，这门课的难度还不止于此，下次将进入核心的神经网络训练，我们下次再聊吧。