手写数字识别-KNN与CNN

最新推荐文章于 2024-04-25 20:31:26 发布
最新推荐文章于 2024-04-25 20:31:26 发布
阅读量2k 收藏 36
点赞数 5
分类专栏： python 图像处理 文章标签： 神经网络 深度学习 计算机视觉 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42240908/article/details/112969711
版权

手写数字识别-KNN与CNN

文章目录

KNN算法

1.KNN算法步骤

step1:计算已知类别数据集中的所有样本与当前样本之间的距离
step2:按距离递增次序对所有样本排序
step3:选取与当前当前样本距离最小的前K个样本
step4:统计这K个样本所在的类别出现的频率
step5:把这K个点出现频率最高的类别作为当前点的预测分类

2.KNN的实现-手写数字识别

MNIST数据集由60000个训练样本和10000个测试样本组成，每个样本都是一张28 * 28像素的灰度手写数字图片。
在这里插入图片描述
KNN算法实现代码如下。

def my_knn_classify(img, train_imgs, train_labels, k):
    img = np.tile(img.reshape(1, 784), (60000, 1))
    distance = np.sqrt(np.sum(np.square(img - train_imgs), axis=1))
    sortedindex = np.argsort(distance)
    sortedlabel = train_labels[sortedindex]
    return Counter(sortedlabel[0:k]).most_common(1)[0][0]

下面是一副手写数字，我们要对这副图像进行手写数字识别。
在这里插入图片描述
首先要对图片进行预处理，包括滤波，二值化，反色等，然后进行字符定位，使用边界提取方法，提取字符边框。然后进行字符分割，将字符分成一个个28*28的小图片。最后在使用我们的KNN算法进行识别。处理代码如下：

def pre_processing(raw_image):
    # 高斯去噪
    image = cv2.GaussianBlur(raw_image, (3, 3), 0)
    # 灰度处理并二值化
    image = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
    image[image < 130] = 0
    image[image >= 130] = 255
    # 颜色倒转
    image = 255 - image
    return image


def Character_segmentation(image):
    contours, hierarchy = cv2.findContours(image, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    # img_vector = 255 - img_vector
    expanding = 20
    coordinates = dict()
    images = []
    for index, item in enumerate(contours):
        rect = cv2.boundingRect(item)
        x = rect[0]
        y = rect[1]
        weight = rect[2]
        height = rect[3]
        image_tmp = image[y-expanding:y + height+expanding, x-expanding:x + weight+expanding]
        # filename = 'segmentation/num-' + str(index + 1) + '.png'
        # cv2.imwrite(filename, image_tmp)
        image_tmp = cv2.resize(image_tmp, (28, 28))
        images.append(image_tmp)
        coordinates[index] = [x, y, weight, height]
    return images,coordinates

为加快计算以及准确度，我们需要将MINIST数据集也进行二值化，将我们的手写图片经过上述处理以后，可以直接使用KNN算法进行预测，将结果展示到原图上。代码如下：

    raw_image = cv2.imread('test_pic.png')
    image = pre_processing(raw_image)
    images, coordinates = Character_segmentation(image)
    draw_image = raw_image.copy()
    for index,image in enumerate(images):
        # cv_show(image)
        image[image < 130] = 0
        image[image >= 130] = 1
        img_vector = np.reshape(image, (784, 1))
        y = my_knn_classify(img_vector, train_imgs, train_labels, k=5)
        # print(y)
        cv2.rectangle(draw_image, (coordinates[index][0], coordinates[index][1]), (coordinates[index][0]+coordinates[index][2], coordinates[index][1]+ coordinates[index][3]), (255, 0, 0), 2)
        cv2.putText(draw_image,str(y),((2*coordinates[index][0]+coordinates[index][2])//2,coordinates[index][1]+ coordinates[index][3]+30),cv2.FONT_HERSHEY_PLAIN,2.0, (0, 0, 255), 2)
    cv_show(draw_image)

最后的识别结果如下图，这里手写数字4被错误地识别成了7。KNN算法对于手写数字识别的准确率还是很高的，但是深度学习的方法准确率更高一些。
在这里插入图片描述

CNN神经网络

1.网络结构

conv - relu - pool - affine - relu - affine - softmax

2.CNN的实现-手写数字识别

用视频文件做一个动态识别，效果如下图。
在这里插入图片描述
CNN识别的代码如下，这里做了个非常简易的GUI，网络需要自己训练哦~。

from tkinter import *
from tkinter import messagebox
from tkinter.filedialog import *
import numpy as np
from simple_convnet import SimpleConvNet
import cv2


def cv_video(img, name='video'):
    cv2.imshow(name, img)
    cv2.waitKey(100)


def cv_picture(img, name='image'):
    cv2.imshow(name, img)
    cv2.waitKey(0)


def pre_processing(raw_image):
    # 高斯去噪
    image = cv2.GaussianBlur(raw_image, (3, 3), 0)
    # 灰度处理并二值化
    image = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
    image[image < 130] = 0
    image[image >= 130] = 255
    # 颜色倒转
    image = 255 - image
    return image


def Character_segmentation(image):
    contours, hierarchy = cv2.findContours(image, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    # img_vector = 255 - img_vector
    expanding = 20
    coordinates = dict()
    images = []
    index = 0
    for item in contours:
        rect = cv2.boundingRect(item)
        x = rect[0]
        y = rect[1]
        weight = rect[2]
        height = rect[3]
        image_tmp = image[y-expanding:y + height+expanding, x-expanding:x + weight+expanding]
        if image_tmp.shape[0] !=0 and image_tmp.shape[1]!=0:
            image_tmp = cv2.resize(image_tmp, (28, 28))
            image_tmp = np.expand_dims(np.expand_dims(image_tmp, 0), 0)
            images.append(image_tmp)
            coordinates[index] = [x, y, weight, height]
            index += 1
    return images,coordinates


class Application(Frame):
    def __init__(self, master=None):
        super().__init__(master)  # super() 代表的是父类的定义，而不是父类对象
        self.master = master
        self.pack()
        self.createWidget()

    def createWidget(self):
        Button(self,text="打开视频文件",command=self.open_video).pack()
        Button(self, text="打开图片文件", command=self.open_picture).pack()
        Button(self, text="打开摄像头", command=self.open_camera).pack()

    def open_video(self):
        filename = askopenfilename(title="打开视频或者图片文件",initialdir="C:",filetypes=[("视频文件",".mp4")])
        if filename:
            videoCapture = cv2.VideoCapture(filename)
            while True:
                ret, raw_image = videoCapture.read()
                if ret:
                    image = pre_processing(raw_image)
                    images, coordinates = Character_segmentation(image)
                    draw_image = raw_image.copy()
                    if images:
                        for index, image in enumerate(images):
                            y = network.predict(image)
                            y = np.argmax(y, axis=1)
                            cv2.rectangle(draw_image, (coordinates[index][0], coordinates[index][1]), (
                            coordinates[index][0] + coordinates[index][2], coordinates[index][1] + coordinates[index][3]),
                                          (255, 0, 0), 2)
                            cv2.putText(draw_image, str(y[0]), ((2 * coordinates[index][0] + coordinates[index][2]) // 2,
                                                                coordinates[index][1] + coordinates[index][3] + 30),
                                        cv2.FONT_HERSHEY_PLAIN, 2.0, (0, 0, 255), 2)
                            # print(y)
                    cv_video(draw_image)
                else:
                    break

            videoCapture.release()
            cv2.destroyAllWindows()

    def open_picture(self):
        filename = askopenfilename(title="打开视频或者图片文件", initialdir="C:", filetypes=[("图片文件", ".jpg", ".png")])
        if filename:
            raw_image = cv2.imread(filename)
            raw_image = cv2.resize(raw_image, (640, 480))
            image = pre_processing(raw_image)
            images, coordinates = Character_segmentation(image)
            draw_image = raw_image.copy()
            for index, image in enumerate(images):
                y = network.predict(image)
                y = np.argmax(y, axis=1)
                cv2.rectangle(draw_image, (coordinates[index][0], coordinates[index][1]), (
                coordinates[index][0] + coordinates[index][2], coordinates[index][1] + coordinates[index][3]), (255, 0, 0),
                              2)
                cv2.putText(draw_image, str(y[0]), ((2 * coordinates[index][0] + coordinates[index][2]) // 2,
                                                    coordinates[index][1] + coordinates[index][3] + 30),
                            cv2.FONT_HERSHEY_PLAIN, 2.0, (0, 0, 255), 2)
                #print(y)
            cv_picture(draw_image)

    def open_camera(self):
        videoCapture = cv2.VideoCapture(0)
        while True:
            ret, raw_image = videoCapture.read()
            if ret:
                image = pre_processing(raw_image)
                images, coordinates = Character_segmentation(image)
                draw_image = raw_image.copy()
                if images:
                    for index, image in enumerate(images):
                        y = network.predict(image)
                        y = np.argmax(y, axis=1)
                        cv2.rectangle(draw_image, (coordinates[index][0], coordinates[index][1]), (
                            coordinates[index][0] + coordinates[index][2],
                            coordinates[index][1] + coordinates[index][3]),
                                      (255, 0, 0), 2)
                        cv2.putText(draw_image, str(y[0]),
                                    ((2 * coordinates[index][0] + coordinates[index][2]) // 2,
                                     coordinates[index][1] + coordinates[index][3] + 30),
                                    cv2.FONT_HERSHEY_PLAIN, 2.0, (0, 0, 255), 2)
                        # print(y)
                cv_video(draw_image)
            else:
                break
            if cv2.waitKey(1) == ord('q'):
                break
        videoCapture.release()
        cv2.destroyAllWindows()


if __name__ == '__main__':
    network = SimpleConvNet(input_dim=(1, 28, 28),
                            conv_param={'filter_num': 30, 'filter_size': 5, 'pad': 0, 'stride': 1},
                            hidden_size=100, output_size=10, weight_init_std=0.01)
    network.load_params()
    root = Tk()
    root.title("手写数字识别系统")
    root.geometry("1000x800+500+100")
    app = Application(master=root)
    root.mainloop()
电子小白菜
关注
  • 5
    点赞
  • 踩
  • 36
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
kNN算法实现手写数字识别（机器学习）
RuijieRen的博客
10-09 1万+
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、实验步骤 二、实验过程 1.收集数据：提供文本文件 2.准备数据：将图像转换为测试向量 3.测试算法：使用k-近邻算法识别手写数字 ​ 总结 前言 此时实验利用KNN算法实现手写数字识别，为了简单起见只能识别数字0到9需要识别的数字已经使用图形处理软件处理成相同的色彩和大小：宽高32像素x32像素的黑白图像，并将图像转换为文本格式。 提示：以下是本篇文章正文内容，下面案例可供参考 一
终于有人把KNN、CNN和TensorFlow这些AI基础讲清楚了...
九章算法的博客
02-22 810
知乎有人发问，作为零基础小白，想要在两年内转行人工智能，在备战过程中应如何准备。 不光小白有此困惑，很多工作了两三年的码农，在转岗AI时都有以下烦恼： Python很快入门，TensorFlow等工具也会，可一看到卷积神经网络就懵 其实，人工智能没你想得那么难，《AI入门项目课》将带你掌握AI架构，分析代码、以及实操项目演练，应对面试绰绰有余！ 戳我报名 免费试听 人工智能覆盖各行各业，AI市场无寒冬 BurningGlass网站对**“有多少技术岗位需要人工智能技能”**进行了调查，像软件工程师、数
KNN与CNN
gehulushang的博客
12-03 9440
KNN与CNN相关 KNN（K-Nearest Neighbor）最邻近分类算法 就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。 KNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性 KNN最邻近分类算法的实现原理：为了判断未知样本的类别，以所有已知类...
KNN算法实现手写数字识别
ennshsh的博客
04-25 1229
交叉验证网格搜索介绍及步骤交叉验证网格搜索（cross-validation grid search）是一种机器学习模型超参数优化的方法。它结合了网格搜索和交叉验证两种技术，以寻找最佳的模型超参数组合。下面是这种方法的基本步骤：定义超参数空间：首先，需要确定模型的超参数范围。这些超参数是模型的内部参数，不是通过训练数据直接学习得到的，而是通过调整来优化模型性能的参数。创建网格：基于这些超参数的范围，创建一个超参数的网格。每个网格点代表一个可能的超参数组合。
cnn 于 knn 的区别
weixin_42584507的博客
02-17 607
CNN和KNN都是机器学习中常用的模型，它们有一些共同点也有一些不同点。CNN是卷积神经网络，它使用滤波器来提取图像特征，并使用多层神经网络来解决图像识别问题。KNN是K近邻算法，它是一种基于实例的学习方法，通过找出最近的训练示例，来预测新的实例的类别。 ...
基于KNN算法实现手写数字识别
吟游诗人——吟唱生命的不朽
07-27 2690
KNN算法是分类算法中最简单的一个算法了，关于这个算法的原理我就不做详细介绍了，这么简单的算法，究竟能不能用来准确的进行分类呢？其正确率又有多高呢？ 带着一点怀疑，咱来进行这个实验，我们就用最简单的KNN算法来进行手写数字识别，编程语言是python 3。 首先讲一下思路，常规的机器学习算法大致有如下几个步骤： 1、收集数据 2、数据预处理 3、寻找一个function set 4、通过对数据进行...
实验二_knnpython_python_车牌_手写数字识别_
10-02
在本实验中，我们将探讨如何使用Python编程语言和K-近邻（K-...随着深度学习技术的发展，如卷积神经网络（CNN），手写数字识别的准确性和效率已经得到了显著提升，但KNN仍然是理解和掌握基础分类算法的重要实例。
手写数字识别-内含源码和说明书.zip
最新发布
05-15
“knn”可能是另一种用于手写数字识别的算法——K近邻（K-Nearest Neighbors，KNN）。KNN是一种基于实例的学习方法，它通过查找训练集中与新样本最相似的K个邻居来做出预测。尽管KNN在处理小规模数据集时效果良好，...
knn.zip_图片识别_手写数字识别_识别手写数字程序
09-22
《基于KNN算法的手写数字识别程序解析》 ...随着深度学习的发展，现代的手写数字识别系统往往使用卷积神经网络（CNN）等复杂模型，但KNN算法及其背后的原理仍然是理解计算机视觉和机器学习入门的重要基石。
opencv手写数字识别C++
11-30
本项目聚焦于一个特定的应用：手写数字识别，这通常涉及到图像预处理、特征提取和分类算法。下面将详细阐述相关知识点。 一、OpenCV简介 OpenCV是一个跨平台的计算机视觉库，由一系列C++函数和类组成，同时也提供了...
手写数字识别.贝叶斯分类算法
12-06
手写数字识别是计算机视觉和机器学习领域的一个经典问题，主要目标是通过分析图像中的手写数字，自动将其转换为对应的数字字符。在这个项目中，我们利用了贝叶斯分类算法来解决这个问题。贝叶斯分类是一种基于概率的...
tensorflow实现基于KNN（和CNN）算法的阿拉伯数字识别（代码详解）
haosen
07-02 2170
废话不多说，直接上项目；（大家如果感兴趣可以加深度学习代码实现群：225215316，或者想做此方向的项目加讨论群：457756921） 首先我们先将具体的数字图片转换为向量矩阵形式，存储在txt文件下，具体格式如下，其是数字0的矩阵向量形式： 整个项目文件夹下分一部分为训练集数据集另一部分为测试集数据集，文件格式如下： 那么直接开始上KNN算法的代码实现...
【AI】Python 实现 KNN 手写数字识别
Elford的博客
12-05 2949
KNN 实现手写数字分类
KNN实现手写数字识别
楷尘·极客
03-28 5774
KNN简介    物以类聚，人以群分就是KNN的算法的宗旨，要辨识一个人大概是社么样的人，可以从他的朋友圈入手，看他的盆友圈属于哪种类型（和哪种类型的盆友圈最接近，比如经常去夜店的二代、老实的码农、像我这样帅的人）就可以大致判断他也属于该类型的人。KNN就是将未知样本和已知样本集合进行比较，比较未知样本和所有已知样本的接近程度进行排序，最后提取前K个最接近的样本，看在这K个样本中哪种几何所占的比例...
【机器学习基础】KNN实现手写数字识别
YancyKahn
09-29 649
KNN(K-近邻算法)实现手写数字识别 K-近邻算法是一种监督机器学习分类算法。它的思想很简单，计算测试点与样本集合之间的欧几里得距离（直线距离），找到测试点与样本集合中距离最近的k个样本集，这k个样本集合中对应的最多的分类就可以作为测试点的分类。 本文使用的数据集， 解压后的testDigits文件夹为测试文件，trainingDigits为训练文件 # 手写数字识别 import numpy as np import os class DigitRecoginze(): def _
kNN实现手写数字识别
ai_d_d的博客
04-16 3523
kNN实现手写数字识别
基于KNN算法的手写体数字识别
secretboys的博客
12-09 2933
基于KNN算法的手写体数字识别 KNN分类算法是一种经典的分类算法，属于懒惰学习算法的一种。 1.算法原理 工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是kNN算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的
实时手写数字识别
贝壳er的博客
05-10 9928
手写数字识别作为模式识别领域的一个重要问题，也有着重要的理论价值，在大数据时代的背景下，其应用领域非常之广。很多学者对手写数字识别提出了不同的算法，取得了不错的测试效果，但如今OCR领域大部分还在算法理论的研究阶段，并没有完善的应用体系出现。部分科技企业开发出的手写数字应用系统由于局限于书写的环境和书写风格的要求，只能适用于特点的应用场景，也并没有得到很好的推广。 ...
深度神经网络（使用CNN，NN，RNN，与KNN，SVM）
weixin_41075215的博客
12-08 7586
深度神经网络 实验目的 了解神经网络结构（NN，CNN，RNN） 使用框架运行神经网络，查看并对比神经网络学习的效果 不断调整神经网络的参数，逐步提升学习效果（以CNN为例） 对比神经网络与一般机器算法的区别 目录 pytorch的安装 数据预处理 CNN的实现 CNN的三次迭代过程及最终结果 RNN的实现与预测结果 NN的实现与最终结果 SVM的实现与最终结果 pytorch的安装 搭建...
基于 knn+cnn 的手写数字识别算法的识别率为 99.7%的算法
10-31
基于KNN和CNN的手写数字识别算法相当于将KNN的特征选择与CNN的分类能力相结合。首先，利用CNN训练模型，获得高层次的特征表示。然后，使用KNN算法对这些特征进行分类，通过选择最近邻的方式来判断待识别数字的类别。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值