CS231n Assignment1 Knn

最新推荐文章于 2023-08-27 08:53:50 发布

「已注销」

最新推荐文章于 2023-08-27 08:53:50 发布

阅读量369

点赞数 1

分类专栏：凸优化

本文链接：https://blog.csdn.net/wangchy29/article/details/87936112

版权

这篇博客介绍了如何使用Python实现CIFAR10数据集上的KNN分类器，包括数据读取、预处理、KNN算法的l1和l2距离计算，并通过交叉验证来确定最佳的k值。还展示了训练和测试过程以及部分代码示例。

摘要由CSDN通过智能技术生成

数据

CIFAR10，下载python版本。

作业内容

实现一个knn分类器，用次knn分类似对CIFAR10的数据进行训练和预测。

knn分类器：

knn分类器额工作分为两部（１）训练：读取训练数据并存储训练数据。（２）测试：对于每一个测试图像，knn计算它与每一个训练集的距离，找出距离最近的k个训练图像，这k个图像中，占数目最多的标签类别，就是测试图像的预测类别。

而计算图像之间的距离有两种方式，分别是l1距离和l2距离。

l1距离是曼哈顿距离，即

$d_1(I_1,I_2)=\sum_p|I_1^p-I_2^p|$

l2距离是欧几里得距离。即

$d_2=\sqrt{\sum_p(I_1^p-I_2^P)^2}$

此外，测试部分中k的值对结果有很大影响，较小k值容易受到噪声的影响，较大的k值则会导致边界上样本的分类有歧义。这理为了找到合适的k值，使用交叉验证的方法。

作业

数据读取和处理

第一步是加载数据，附上cs231n的data_util代码内容。

from __future__ import print_function

from six.moves import cPickle as pickle
import numpy as np
import os
from scipy.misc import imread
import platform


def load_pickle(f):
    version = platform.python_version_tuple()
    if version[0] == '2':
        return pickle.load(f)
    elif version[0] == '3':
        return pickle.load(f, encoding='latin1')
    raise ValueError("invalid python version: {}".format(version))


def load_CIFAR_batch(filename):
    """ load single batch of cifar """
    with open(filename, 'rb') as f:
        datadict = load_pickle(f)
        X = datadict['data']
        Y = datadict['labels']
        X = X.reshape(10000, 3, 32, 32).transpose(0, 2, 3, 1).astype("float")
        Y = np.array(Y)
        return X, Y


def load_CIFAR10(ROOT):
    """ load all of cifar """
    xs = []
    ys = []
    for b in range(1, 6):
        f = os.path.join(ROOT, 'data_batch_%d' % (b,))
        X, Y = load_CIFAR_batch(f)
        xs.append(X)
        ys.append(Y)
    Xtr = np.concatenate(xs)
    Ytr = np.concatenate(ys)
    del X, Y
    Xte, Yte = load_CIFAR_batch(os.path.join(ROOT, 'test_batch'))
    return Xtr, Ytr, Xte, Yte


def get_CIFAR10_data(num_training=49000, num_validation=1000, num_test=1000,
                     subtract_mean=True):
    """
    Load the CIFAR-10 dataset from disk and perform preprocessing to prepare
    it for classifiers. These are the same steps as we used for the SVM, but
    condensed to a single function.
    """
    # Load the raw CIFAR-10 data
    cifar10_dir = 'cs231n/datasets/cifar-10-batches-py'
    X_train, y_train, X_test, y_test = load_CIFAR10(cifar10_dir)

    # Subsample the data
    mask = list(range(num_training, num_training + num_validation))
    X_val = X_train[mask]
    y_val = y_train[mask]
    mask = list(range(num_training))
    X_train = X_train[mask]
    y_train = y_train[mask]
    mask = list(range(num_test))
    X_test = X_test[mask]
    y_test = y_test[mask]

    # Normalize the data: subtract the mean image
    if subtract_mean:
        mean_image = np.mean(X_train, axis=0)
        X_train -= mean_image
        X_val -= mean_image
        X_test -= mean_image

    # Transpose so that channels come first
    X_train = X_train.transpose(0, 3, 1, 2).copy()
    X_val = X_val.transpose(0, 3, 1, 2).copy()
    X_test = X_test.transpose(0, 3, 1, 2).copy()