Kaggle入门——手写数字识别

最新推荐文章于 2024-05-21 17:04:59 发布
最新推荐文章于 2024-05-21 17:04:59 发布
阅读量1.4k 收藏 9
点赞数
分类专栏： 机器学习 比赛
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43746433/article/details/99347524
版权

0.前言

  • 比赛说明
    MNIST（“修改后的国家标准与技术研究所”）是计算机视觉事实上的“hello world”数据集。自1999年发布以来，这一经典的手写图像数据集已成为分类算法基准测试的基础。随着新的机器学习技术的出现，MNIST仍然是研究人员和学习者的可靠资源。
    在本次比赛中，您的目标是从数万个手写图像的数据集中正确识别数字。我们策划了一套教程式内核，涵盖从回归到神经网络的所有内容。我们鼓励您尝试不同的算法，以便第一手了解哪些方法有效以及技术如何比较。

  • 练习技巧
    计算机视觉基础包括简单的神经网络

  • 分类方法，如SVM和K-最近邻

  • 比赛地址：https://www.kaggle.com/c/digit-recognizer/overview

1.用到的软件包

import numpy as np
import pandas as pd
from time import time
import matplotlib.pyplot as plt
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import train_test_split
from sklearn import svm
from sklearn.decomposition import PCA
from sklearn.preprocessing import MinMaxScaler
import warnings
warnings.filterwarnings("ignore", category=FutureWarning, module="sklearn")

2.导入数据

train = pd.read_csv('train.csv')
test = pd.read_csv('test.csv')
  • 查看信息
train.info()

在这里插入图片描述

test.info()

在这里插入图片描述

  • 查看有无缺失值
print(train.isnull().any().describe())
print()
print(test.isnull().any().describe())

在这里插入图片描述
无缺失值，有唯一值

  • 查看数据行数
print(train.shape)
print(test.shape)
print(train.head())

在这里插入图片描述
训练集的标签在第一行

3.特征预处理

  • 将训练集中的特征和标签列分开
X = train.iloc[:,1:]
y = train.iloc[:,0]
  • 查看训练集的前10的数字
plt.figure(figsize = (10,5))

for num in range(0,10):
    plt.subplot(2,5,num+1)
    #将长度为784的向量数据转化为28*28的矩阵
    grid_data = X.iloc[num].as_matrix().reshape(28,28)
    #显示图片，颜色为黑白
    plt.imshow(grid_data, interpolation = "none", cmap = "Greys")

在这里插入图片描述

  • 特征预处理,将特征的值域规范化
X = MinMaxScaler().fit_transform(X)
print(X)
test = MinMaxScaler().fit_transform(test)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.1, random_state = 14)

[[0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 ...
 [0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]]

4.主成分分析

训练集维度784列，需要降低纬度

  • 使用主成分分析,降低维度
all_scores = [] #画图使用
# 生成n_components的取值列表
n_components = np.linspace(0.7,0.9,num=20, endpoint=False)
print(n_components)
def get_accuracy_score(n, X_train, X_test, y_train, y_test):
    '''当主成分为n时,计算模型预测的准确率'''      
    t0 = time()
    pca = PCA(n_components = n)
    pca.fit(X_train)
    X_train_pca = pca.transform(X_train)
    X_test_pca = pca.transform(X_test)
    # 使用支持向量机分类器
    clf = svm.SVC()
    clf.fit(X_train_pca, y_train)
    # 计算准确度
    accuracy = clf.score(X_test_pca, y_test)
    t1 = time()
    print('n_components:{:.2f} , accuracy:{:.4f} , time elaps:{:.2f}s'.format(n, accuracy, t1-t0))
    return accuracy 

for n in n_components:
    score = get_accuracy_score(n,X_train, X_test, y_train, y_test)
    all_scores.append(score)  

[0.7  0.71 0.72 0.73 0.74 0.75 0.76 0.77 0.78 0.79 0.8  0.81 0.82 0.83
 0.84 0.85 0.86 0.87 0.88 0.89]
n_components:0.70 , accuracy:0.9750 , time elaps:26.44s
n_components:0.71 , accuracy:0.9757 , time elaps:26.35s
n_components:0.72 , accuracy:0.9769 , time elaps:27.06s
n_components:0.73 , accuracy:0.9760 , time elaps:27.49s
n_components:0.74 , accuracy:0.9776 , time elaps:27.72s
n_components:0.75 , accuracy:0.9781 , time elaps:28.63s
n_components:0.76 , accuracy:0.9781 , time elaps:29.46s
n_components:0.77 , accuracy:0.9781 , time elaps:30.22s
n_components:0.78 , accuracy:0.9783 , time elaps:31.08s
n_components:0.79 , accuracy:0.9776 , time elaps:33.13s
n_components:0.80 , accuracy:0.9779 , time elaps:35.57s
n_components:0.81 , accuracy:0.9771 , time elaps:36.11s
n_components:0.82 , accuracy:0.9774 , time elaps:36.17s
n_components:0.83 , accuracy:0.9769 , time elaps:36.98s
n_components:0.84 , accuracy:0.9755 , time elaps:38.15s
n_components:0.85 , accuracy:0.9748 , time elaps:39.21s
n_components:0.86 , accuracy:0.9748 , time elaps:40.42s
n_components:0.87 , accuracy:0.9729 , time elaps:42.43s
n_components:0.88 , accuracy:0.9721 , time elaps:44.55s
n_components:0.89 , accuracy:0.9717 , time elaps:47.55s
  • 画出主成分和准确度的关系图
plt.plot(n_components, all_scores, '-o')
plt.xlabel('n_components')
plt.ylabel('accuracy')
plt.show()

在这里插入图片描述
主成分n_components的临界值为0.78时，精确度最高

  • 使用SVM基础模型
# 找出识别有误的数据
pca = PCA(n_components = 0.78)
pca.fit(X_train)
X_train_pca = pca.transform(X_train)
X_test_pca = pca.transform(X_test)

clf = svm.SVC()
clf.fit(X_train_pca, y_train)
y_pred = clf.predict(X_test_pca)

errors = (y_pred != y_test)
y_pred_errors = y_pred[errors]  #预测
y_test_errors = y_test[errors].values  #测试Y
X_test_errors = X_test[errors]   #测试X


# 查看预测错误的数据
print(y_pred_errors[:5]) #预测标签结果
print(y_test_errors[:5]) #测试集标签
print(X_test_errors[:5]) #测试集X值

[5 0 8 6 9]  
[8 9 6 8 7]
[[0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]
 [0. 0. 0. ... 0. 0. 0.]]
  • 数据可视化,查看预测有误的数字
n = 0
nrows = 2
ncols = 5

fig, ax = plt.subplots(nrows,ncols,figsize=(10,6))

for row in range(nrows):
    for col in range(ncols):
        ax[row,col].imshow((X_test_errors[n]).reshape((28,28)), cmap = "Greys")
        ax[row,col].set_title("Predict:{}\nTrue: {}".format(y_pred_errors[n],y_test_errors[n]))
        n += 1

在这里插入图片描述

5.建模

pca = PCA(n_components=0.78)  # n_components为0.78时, 模型的准确率最高
pca.fit(X)
print(pca.n_components_)
# 对训练集和测试集进行主成分转换
X = pca.transform(X)
test = pca.transform(test)

39

对训练集和测试集进行PCA降低维度处理, 主成分个数为39

  • 模型调参
# 使用支持向量机预测,使用网格搜索进行调参

clf_svc = GridSearchCV(estimator=svm.SVC(), param_grid={ 'C': [1, 2, 4, 5], 'kernel': [ 'linear', 'rbf', 'sigmoid' ] }, cv=5, verbose=2 ) 

clf_svc.fit(X, y)  # 训练算法

Fitting 5 folds for each of 12 candidates, totalling 60 fits
[CV] C=1, kernel=linear ..............................................

[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.

[CV] ............................... C=1, kernel=linear, total=  27.5s
[CV] C=1, kernel=linear ..............................................

[Parallel(n_jobs=1)]: Done   1 out of   1 | elapsed:   27.4s remaining:    0.0s

[CV] ............................... C=1, kernel=linear, total=  27.7s
[CV] C=1, kernel=linear ..............................................
[CV] ............................... C=1, kernel=linear, total=  25.9s
[CV] C=1, kernel=linear ..............................................
[CV] ............................... C=1, kernel=linear, total=  26.8s
[CV] C=1, kernel=linear ..............................................
[CV] ............................... C=1, kernel=linear, total=  27.5s
[CV] C=1, kernel=rbf .................................................
[CV] .................................. C=1, kernel=rbf, total=  24.5s
[CV] C=1, kernel=rbf .................................................
[CV] .................................. C=1, kernel=rbf, total=  23.8s
[CV] C=1, kernel=rbf .................................................
[CV] .................................. C=1, kernel=rbf, total=  23.7s
[CV] C=1, kernel=rbf .................................................
[CV] .................................. C=1, kernel=rbf, total=  23.6s
[CV] C=1, kernel=rbf .................................................
[CV] .................................. C=1, kernel=rbf, total=  23.5s
[CV] C=1, kernel=sigmoid .............................................
[CV] .............................. C=1, kernel=sigmoid, total=  29.4s
[CV] C=1, kernel=sigmoid .............................................
[CV] .............................. C=1, kernel=sigmoid, total=  29.6s
[CV] C=1, kernel=sigmoid .............................................
[CV] .............................. C=1, kernel=sigmoid, total=  30.4s
[CV] C=1, kernel=sigmoid .............................................
[CV] .............................. C=1, kernel=sigmoid, total=  29.5s
[CV] C=1, kernel=sigmoid .............................................
[CV] .............................. C=1, kernel=sigmoid, total=  29.4s
[CV] C=2, kernel=linear ..............................................
[CV] ............................... C=2, kernel=linear, total=  36.7s
[CV] C=2, kernel=linear ..............................................
[CV] ............................... C=2, kernel=linear, total=  36.6s
[CV] C=2, kernel=linear ..............................................
[CV] ............................... C=2, kernel=linear, total=  35.7s
[CV] C=2, kernel=linear ..............................................
[CV] ............................... C=2, kernel=linear, total=  37.1s
[CV] C=2, kernel=linear ..............................................
[CV] ............................... C=2, kernel=linear, total=  37.6s
[CV] C=2, kernel=rbf .................................................
[CV] .................................. C=2, kernel=rbf, total=  23.1s
[CV] C=2, kernel=rbf .................................................
[CV] .................................. C=2, kernel=rbf, total=  23.5s
[CV] C=2, kernel=rbf .................................................
[CV] .................................. C=2, kernel=rbf, total=  23.1s
[CV] C=2, kernel=rbf .................................................
[CV] .................................. C=2, kernel=rbf, total=  22.5s
[CV] C=2, kernel=rbf .................................................
[CV] .................................. C=2, kernel=rbf, total=  22.7s
[CV] C=2, kernel=sigmoid .............................................
[CV] .............................. C=2, kernel=sigmoid, total=  27.3s
[CV] C=2, kernel=sigmoid .............................................
[CV] .............................. C=2, kernel=sigmoid, total=  27.0s
[CV] C=2, kernel=sigmoid .............................................
[CV] .............................. C=2, kernel=sigmoid, total=  27.3s
[CV] C=2, kernel=sigmoid .............................................
[CV] .............................. C=2, kernel=sigmoid, total=  27.3s
[CV] C=2, kernel=sigmoid .............................................
[CV] .............................. C=2, kernel=sigmoid, total=  27.2s
[CV] C=4, kernel=linear ..............................................
[CV] ............................... C=4, kernel=linear, total=  53.3s
[CV] C=4, kernel=linear ..............................................
[CV] ............................... C=4, kernel=linear, total=  52.7s
[CV] C=4, kernel=linear ..............................................
[CV] ............................... C=4, kernel=linear, total=  52.0s
[CV] C=4, kernel=linear ..............................................
[CV] ............................... C=4, kernel=linear, total=  54.8s
[CV] C=4, kernel=linear ..............................................
[CV] ............................... C=4, kernel=linear, total=  53.2s
[CV] C=4, kernel=rbf .................................................
[CV] .................................. C=4, kernel=rbf, total=  20.9s
[CV] C=4, kernel=rbf .................................................
[CV] .................................. C=4, kernel=rbf, total=  21.0s
[CV] C=4, kernel=rbf .................................................
[CV] .................................. C=4, kernel=rbf, total=  20.8s
[CV] C=4, kernel=rbf .................................................
[CV] .................................. C=4, kernel=rbf, total=  22.2s
[CV] C=4, kernel=rbf .................................................
[CV] .................................. C=4, kernel=rbf, total=  22.2s
[CV] C=4, kernel=sigmoid .............................................
[CV] .............................. C=4, kernel=sigmoid, total=  26.3s
[CV] C=4, kernel=sigmoid .............................................
[CV] .............................. C=4, kernel=sigmoid, total=  26.4s
[CV] C=4, kernel=sigmoid .............................................
[CV] .............................. C=4, kernel=sigmoid, total=  25.9s
[CV] C=4, kernel=sigmoid .............................................
[CV] .............................. C=4, kernel=sigmoid, total=  26.6s
[CV] C=4, kernel=sigmoid .............................................
[CV] .............................. C=4, kernel=sigmoid, total=  27.3s
[CV] C=5, kernel=linear ..............................................
[CV] ............................... C=5, kernel=linear, total= 1.1min
[CV] C=5, kernel=linear ..............................................
[CV] ............................... C=5, kernel=linear, total= 1.3min
[CV] C=5, kernel=linear ..............................................
[CV] ............................... C=5, kernel=linear, total= 1.1min
[CV] C=5, kernel=linear ..............................................
[CV] ............................... C=5, kernel=linear, total= 1.1min
[CV] C=5, kernel=linear ..............................................
[CV] ............................... C=5, kernel=linear, total= 1.1min
[CV] C=5, kernel=rbf .................................................
[CV] .................................. C=5, kernel=rbf, total=  23.5s
[CV] C=5, kernel=rbf .................................................
[CV] .................................. C=5, kernel=rbf, total=  23.4s
[CV] C=5, kernel=rbf .................................................
[CV] .................................. C=5, kernel=rbf, total=  23.4s
[CV] C=5, kernel=rbf .................................................
[CV] .................................. C=5, kernel=rbf, total=  23.9s
[CV] C=5, kernel=rbf .................................................
[CV] .................................. C=5, kernel=rbf, total=  23.8s
[CV] C=5, kernel=sigmoid .............................................
[CV] .............................. C=5, kernel=sigmoid, total=  29.1s
[CV] C=5, kernel=sigmoid .............................................
[CV] .............................. C=5, kernel=sigmoid, total=  28.3s
[CV] C=5, kernel=sigmoid .............................................
[CV] .............................. C=5, kernel=sigmoid, total=  30.1s
[CV] C=5, kernel=sigmoid .............................................
[CV] .............................. C=5, kernel=sigmoid, total=  33.0s
[CV] C=5, kernel=sigmoid .............................................

[CV] .............................. C=5, kernel=sigmoid, total=  32.3s

[Parallel(n_jobs=1)]: Done  60 out of  60 | elapsed: 32.6min finished




# 显示使模型准确率最高的参数
print(clf_svc.best_params_)

{'C': 5, 'kernel': 'rbf'}

#显示最高模型准确率
print(clf_svc.best_score_)

0.9828809523809524
  • 预测
preds = clf_svc.predict(test)
image_id = pd.Series(range(1,len(preds)+1))
result_2 = pd.DataFrame({'ImageID': image_id,'Label':preds})
# 保存为CSV文件
result_2.to_csv('result_svc.csv',index = False)
print('Over')

6.提交结果

在这里插入图片描述

curd_boy
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
【新手向】【Kaggle】基于CNN的简易MNIST数字识别器PyTorch实现（99.5%准确率）
m0_66785204的博客
09-21 1843
以Kaggle Digit Recognizer入门赛为准，从零开始用PyTorch构建一个简单但拥有不错性能的CNN网络（99.5%准确率）。同时介绍一些基础的用于提升模型性能的手段。
task4 建模与调参
weixin_44104450的博客
04-01 228
import pandas as pd import numpy as np import warnings warnings.filterwarnings('ignore') def reduce_mem_usage(df): """ iterate through all the columns of a dataframe and modify the data type ...
Kaggle竞赛丨入门手写数字识别之KNN、CNN、降维
songfei_dream的专栏
01-21 6389
引言 这段时间来，看了西瓜书、蓝皮书，各种机器学习算法都有所了解，但在实践方面却缺乏相应的锻炼。于是我决定通过Kaggle这个平台来提升一下自己的应用能力，培养自己的数据分析能力。 我个人的计划是先从简单的数据集入手如手写数字识别、泰坦尼克号、房价预测，这些目前已经有丰富且成熟的方案可以参考，之后关注未来就业的方向如计算广告、点击率预测，有合适的时机，再与小伙伴一同参加线上比赛。 数据集 ...
kaggle：Digit Recognizer《手写数字识别》你的第一个图像识别竞赛项目
最新发布
qq_63591092的博客
05-21 1510
新手，入门，巩固复习，深度学习，图像识别
TensorFlow,Kaggle的手写识别数据
07-31
手写识别,在Kaggle上的数据.主要有3个csv文件 sample_submission.csv test.csv train.csv 省去你注册Kaggle的麻烦
datawhale 学习笔记——建模调参入门
落队的飞行兵
04-01 661
前言 居然又拖到了最后一天才开始打卡，。果然 ddl 是第一生产力。 放上这次的教程链接：Datawhale 零基础入门数据挖掘-Task4 建模调参 看标题就知道这次的这次的内容是建模和调参。虽然说是零基础入门系列，但是这次的教程对真的零基础的人来讲并不是很友好，还是需要很多前置知识的。主要是机器学习模型方面的教程，教程里给出了几篇作者写的文章。个人感觉需要一定门槛，如果看不懂建议参考其他的。 ...
数据挖掘入门: Kaggle手写数字识别
闲庭信步
06-09 5700
0.前言 1.导入数据 2.特征预处理 3.主成分分析 4.建模 5.提交结果 0.前言 本文对Kaggle上MNIST手写数字集进行分析,采用主成分分析和支持向量机进行预测,将预测结果生成CSV文件.本人将思路记录下来,以供参考.如有不足之处,欢迎指正. 1.导入数据 import numpy as np import pandas as pd from time ...
Kaggle入门——猫狗大战
10-29
标题“Kaggle入门——猫狗大战”指向的是一个数据科学竞赛项目，旨在区分猫和狗的图像。在这个项目中，参赛者需要构建一个深度学习模型来识别图像中的动物是猫还是狗。描述中提到，这个例子是基于AlexNet网络进行...
CNN实现手写数字识别-kaggle竞赛
12-24
Kaggle是一个著名的数据科学竞赛平台，而手写数字识别是其中的经典问题之一，常使用MNIST数据集进行训练和测试。 首先，我们需要了解MNIST数据集。它由70,000个灰度图像组成，其中60,000个用于训练，10,000个用于...
kaggle+mnist实现手写字体识别
09-20
主要为大家详细介绍了kaggle+mnist实现手写字体识别，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Kaggle比赛，手写数字体识别.zip
09-30
【标题】"Kaggle比赛，手写数字体识别.zip" 涉及的主要知识点是机器学习中的图像分类，特别是深度学习技术在手写数字识别中的应用。这项比赛旨在通过训练模型来识别MNIST数据集中的手写数字，这是一个非常经典的入门...
Kaggle入门——使用scikit-learn解决DigitRecognition问题
12-17
Kaggle入门——使用scikit-learn解决DigitRecognition的工程文件，详细解释请移步本人博客搜索该文章：http://blog.csdn.net/u012162613。如有错误请指正
基于机器学习多种方法的kaggle竞赛入门之手写数字的图像识别预测
a857553315的博客
01-20 1729
关于kaggle,不多说了，直接上干货，我这次做的是入门级别的这个题目——手写数字的图像识别预测，主要使用了KNN、LR、RF、SVM四种分类器进行预测。一、KNN分类器KNN算法是所有机器学习算法中最简单的模型了，可以说是不需要训练的，直接计算最近距离样本的类别来进行划分，最大的缺点就是计算量大。首先导入各种第三方包，并读取数据import pandas as pd import numpy a...
使用numba遇到Segmentation fault (core dumped)
Pianist Of Keyboard的博客
02-27 370
同事告诉我，是因为我在多线程（多线程、loky也是一样）中使用了numba的parallel参数，在线程中套了线程会有异常，建议不要使用numba的parallel=True。想要加速不如多线程执行函数，函数中解开GIL锁。使用numba+joblib会抛异常。
Kaggle-手写数字（基于Pytorch和CNN）
自由小兵儿
07-08 843
Kaggle-手写数字识别 本人是一名小白，今天写一下自己第一次提交Kaggle的流程和体会 1.首先我们先导入所需要的库 import numpy as np import pandas as pd import torch import torch.nn as nn from torch.autograd import Variable import torch.utils.data as D...
Kaggle神经网络实战：CNN实现手写数字辨识
GYBinLero的博客
02-10 2238
简要介绍 本文是基于Kaggle入门项目Digit Recognizer的处理方案，在MINST数据集上训练可以识别手写数字的模型。项目链接 代码来自项目Kernels，使用tensorflow实现CNN网络，完整图文及代码请参照Kernel原文 代码实现 库的导入和常量定义 import numpy as np import pandas as pd %matplot...
tensorflow 实现kaggle手写识别Digit Recognizer（二）卷积神经网络
zhuzuwei的博客
01-06 1892
1. 先将42000条训练数据分为训练集（40000条）和开发集（2000条），使用训练集训练出一个卷积神经网络模型，使用开发集测试模型性能，准确率达到98% 2. 将所有的训练数据作为训练集来训练该卷积神经网络模型，再预测28000条待测试的数据，上传后准确率达到0.97985 3.训练过程中，使用tf.train.Saver类保存模型参数，再在预测时加载模型 import
手写数字识别-kaggle-99%
weixin_43729570的博客
12-22 247
import pandas as pd import tensorflow as tf from tensorflow.keras import optimizers, Sequential, layers,regularizers import random import os os.environ['TF_CPP_MIN_LOG_LEVEL']='2' from tensorflow.comp...
歌kaggle大赛——“猫狗大战数据集(cats vs dogs)”
12-28
比赛的目的是通过算法自动识别图像中的动物是猫还是狗。 这个数据集包含了数万张猫和狗的图像，参赛者需要将数据集分为训练集和测试集，然后使用各种图像处理和机器学习技术来建立模型进行分类。在模型建立好之后，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值