MINIST手写数据集练习 - Kmeans

已于 2023-12-05 11:19:09 修改
阅读量250 收藏 3
点赞数
分类专栏： 机器学习-项目练习 文章标签： 机器学习 人工智能 kmeans python
于 2023-12-05 11:17:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38127270/article/details/134787669
版权

最近正好复习到K-Means聚类算法，尝试用代码练习巩固一下知识。

一、实验思路

1.熟悉MINIST数据集

2.使用K-Means算法对数据集进行聚类

3.模型准确率评价

（一）熟悉数据集

MNIST 数据集来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST). 训练集 (training set) 由来自 250 个不同人手写的数字构成, 其中 50% 是高中学生, 50% 来自人口普查局 (the Census Bureau) 的工作人员. 测试集(test set) 也是同样比例的手写数字数据.----信息来源于网上搜集。

MINSIT数据集包含1797个0-9的手写数字，每一个样本都是8*8大小的矩阵，图形显示手写体，如下图显示前15张的图片。

二、 K-Means算法

Kmeans算法逻辑：

1.选择k个聚类的初始中心（不一定是需要样本点）。

2.在第n次迭代中，对于任意一个样本点，求其到K个聚类中心的距离，然后排序，将该样本点归类到距离最小的中心所在的聚类。

3.调整新类并利用均值等方法更新各类的中心点。

4.重复2和3，看中心是否收敛，如果达到迭代次数或者结果为收敛的话则算法停止。

  • 对于MINIST图像数据，先将样本降维映射到二维平面，以便于对结果的可视化。

  • KMeans 聚类算法训练模型并可视化（颜色选的有点丑~~~~，问题不大

  •  然后计算一下模型accuracy，额，有点低哈哈

果然传统聚类算法不能够很好的表现模型，取得很好的效果，以后有机会再学习的时候再次挑战深度学习一下吧！今天的练习就到这里！！！明天继续加油~~~~~~~~~

有一只龙龙
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch实现minist手写数据集训练
06-06
使用torchvision.datasets模块加载MNIST数据集，并进行必要的数据预处理，如图像转换、标准化等。 使用卷积神经网络（CNN）以提取图像中的特征，并进行训练。可以自行尝试不同的模型架构，添加或调整层、增加参数等，以提升性能。 选择叉熵损失函数（CrossEntropyLoss），用于度量模型输出与实际标签之间的差异。 选择随机梯度下降优化器（SGD）用于更新模型的参数。 训练过程定义训练循环次数epoch，遍历训练数据集并向前传播、计算损失、反向传播、更新参数使用批量训练（mini-batch）来加速训练过程，同时监控训练集上的准确率和损失函数值。
如何使用K-means对MNIST数据集进行聚类分析
Chenshuo_Xu的博客
04-23 2572
之前做过一个使用K-means对MNIST数据集进行聚类分析的简单练习，但最近在CSDN上搜索发现许多相关内容是过于复杂，不便于初学者理解，因此在这里提供一种较为简单的聚类方法。当然MNIST数据集较大，传统聚类不一定能取得较好效果，还是建议使用深度聚类算法对该数据集进行聚类分析。
课程数据集_Kmeans_K._minist数据集_数据集_
10-01
初步实现K均值算法，并上穿minist数据集供参考
MNIST手写数字数据集（7000张图片）.rar
05-05
1、资源描述：MNIST手写数字数据集（7000张图片）.rar 2、资源内容：宽幅数字识别和流行手写数字数据集MNIST7000幅图片，欢迎使用 3、适用对象：计算机，电子信息工程、数学等专业的大学生课程设计和毕业设计。 4、更多数据集合和仿真源码下载列表（自行寻找自己需要的）：https://blog.csdn.net/m0_62143653?type=download 5、作者介绍：某大厂资深算法工程师，从事Matlab、Python、C/C++、Java、YOLO算法仿真工作10年；擅长计算机视觉、目标检测模型、智能优化算法、神经网络预测、信号处理、元胞自动机、图像处理、智能控制、路径规划、无人机等多种领域的算法仿真实验，欢迎交流学习。
手写BP训练MINIST数据集
03-16
本科生课程作业。用MATLAB实现的双隐层BP训练MINIST手写数字数据集，没有调用算法库。
【最优化方法】K-Means聚类实验：Python实现手写数字图像MNIST分类
热门推荐
weixin_43209177的博客
11-23 1万+
【最优化方法】K-Means聚类实验：Python实现手写数字图像MNIST分类 目录【最优化方法】K-Means聚类实验：Python实现手写数字图像MNIST分类一、实验目的与要求二、 问题三、模型建立及求解3.1 实验思路3.2 模型建立3.2.1读取MNIST数据集3.2.2 使用K-means算法对手写体进行聚类1. K-means 算法思想2. K-means算法的具体实现3. 聚类中心对应类团编号的获取4. 正确率计算5. 使用PCA算法对聚类结果进行二维可视化3.3 性能分析1. 运行环境
Kmeans聚类（手写数字识别）
m0_58058919的博客
09-18 1518
Kmeans算法原理：在给定K个初始聚类中心点的情况下，（1）把数据中的每个样本分到离其最近的聚类中心所代表的类中。（2）分类完后计算从新每个类的中心点（取平均值），然后进行迭代从新第（1）步和第（2）步。直到类中心点的变化很小，或者达到指定迭代次数。Python中在sklearn库有KMeans函数可调用。我实现的是直接调用，数据集在模板匹配算法中给出。
机器学习算法（一） K-Means算法简述以及在MNIST上的聚类实现
chiqideshijie的博客
07-28 1万+
简述 KNN的全称是K Nearest Neighbors，意思是K个最近的邻居。 KNN的原理就是当预测一个新的值x的时候，根据它距离最近的K个点是什么类别来判断x属于哪个类别。
K-means实现对MINIST数据集的聚类（python）
qq_45790802的博客
12-03 3724
K-means实现对MINIST数据集的聚类（python）
最优化方法——K-means实现手写数字图像聚类
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
10-21 4859
本篇博客主要介绍K-means算法的原理与流程，降维算法的优化问题解决与使用，并分别使用Matlab、Pycharm分别实现了使用K-means算法在实际问题中（对MNIST手写数字数据集）的聚类并进行分析，并分别使用了PCA与LDA对其进行了降维可视化（内附数据集和python及matlab代码）。
minist手写数字数据集(原始图片)
01-13
minist手写数字数据集(原始图片)；42000张图片，0-9 MNIST 数据集来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST). 训练集 (training set) 由来自 250 个不同人手写的数字构成, 其中 50% 是高中学生, 50% 来自人口普查局 (the Census Bureau) 的工作人员. 测试集(test set) 也是同样比例的手写数字数据.
基于Python和PyTorch框架完成的一个手写数字识别实验源码(带MINIST手写数字数据集).zip
11-02
基于Python和PyTorch框架完成的一个手写数字识别实验源码(带MINIST手写数字数据集).zip 代码完整下载可用，确保可以运行才上传的。 基于Python和PyTorch框架完成的一个手写数字识别实验源码(带MINIST手写数字数据集).zip 代码完整下载可用，确保可以运行才上传的。基于Python和PyTorch框架完成的一个手写数字识别实验源码(带MINIST手写数字数据集).zip 代码完整下载可用，确保可以运行才上传的。基于Python和PyTorch框架完成的一个手写数字识别实验源码(带MINIST手写数字数据集).zip 代码完整下载可用，确保可以运行才上传的。基于Python和PyTorch框架完成的一个手写数字识别实验源码(带MINIST手写数字数据集).zip 代码完整下载可用，确保可以运行才上传的。基于Python和PyTorch框架完成的一个手写数字识别实验源码(带MINIST手写数字数据集).zip 代码完整下载可用，确保可以运行才上传的。基于Python和PyTorch框架完成的一个手写数字识别实验源码(带MINIST手写数字数据集).zip
minist手写数字数据集（含代码）
11-28
minist手写数字数据集（含代码，案例有softmax分类、knn分类和神经网络分类），代码简洁易懂，可以当做练手资料
minist手写数字可视化数据集
07-02
minist可视化数据集是指以图片的方式存储minist手写数字的训练集和测试集。训练集与测试集下每个文件夹下将同一类型的数字存储于同一文件夹当中。其中，训练集共有60000张图片，测试集共有10000张图片。
手写数字数据集0-9图片
05-16
手写数字数据集，0-9。 28*28以及30*30两种，每种10000张。仅包含图片。支持定制汉字，以及字符，私聊。
minist dataset - mnist 手写数字数据集
最新发布
03-26
MNIST数据集是一个常用的手写数字识别数据集，由0到9的数字构成。它包含了60000个训练样本和10000个测试样本，每个样本都是一个28x28像素的灰度图像。MNIST数据集被广泛用于测试和验证各种机器学习和深度学习算法的...
【转载】机器学习经典聚类算法 —— k-均值算法（附python实现代码及数据集）
HN_story的博客
01-03 1568
简要讲解K均值算法技术原理，并通过python实现算法的分类。
应用：NumPy实现k均值聚类算法（K-means）
m0_37827994的博客
01-19 3273
NumPy实现k均值聚类算法（K-means） 一、K-means聚类算法简介 其伪代码如下： 创建k个点作为初始的质心点（随机选择） 当任意一个点的簇分配结果发生改变时 对数据集中的每一个数据点 对每一个质心 计算质心与数据点的距离 将数据点分配到距离最近的簇 对每一个簇，计算簇中所有点的均值，并将均值作为质心 下图展示...
python用K近邻（KNN）算法分类MNIST数据集和Fashion MNIST数据集
weixin_30894389的博客
07-28 1701
一、KNN算法的介绍 　　K最近邻（k-Nearest Neighbor，KNN）分类算法是最简单的机器学习算法之一，理论上比较成熟。KNN算法首先将待分类样本表达成和训练样本一致的特征向量；然后根据距离计算待测试样本和每个训练样本的距离，选择距离最小的K个样本作为近邻样本；最后根据K个近邻样本判断待分类样本的类别。KNN算法的正确选取是分类正确的关键因素之一，而近邻样本是通过计算测试样本与每个...
基于CNN的MINIST手写数字识别0-9实验报告
05-28
实验目的： 使用卷积神经网络（CNN）实现对MINIST手写数字0-9的识别，掌握CNN在图像识别任务中的应用。 实验步骤： 1. 数据集准备 使用MINIST手写数字数据集，该数据集包含60000个训练样本和10000个测试样本，每个样本都是28x28像素的灰度图像。可以使用PyTorch自带的torchvision.datasets.MNIST类进行数据集的加载。 2. 数据预处理 对数据集进行预处理，包括数据增强和归一化操作。数据增强可以提高模型的泛化能力，常见的数据增强方式有旋转、平移、缩放、翻转等。归一化操作可以将像素值缩放到[0,1]之间，有利于训练模型。 ```python transform_train = transforms.Compose([ transforms.RandomRotation(10), transforms.RandomAffine(0, shear=10, scale=(0.8,1.2)), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) transform_test = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) trainset = torchvision.datasets.MNIST(root='./data', train=True, download=True, transform=transform_train) trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True, num_workers=2) testset = torchvision.datasets.MNIST(root='./data', train=False, download=True, transform=transform_test) testloader = torch.utils.data.DataLoader(testset, batch_size=64, shuffle=False, num_workers=2) ``` 3. 模型设计与训练 使用PyTorch搭建卷积神经网络模型，对手写数字图像进行分类。具体网络结构如下： ```python class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(1, 32, 3, 1) self.conv2 = nn.Conv2d(32, 64, 3, 1) self.dropout1 = nn.Dropout2d(0.25) self.dropout2 = nn.Dropout2d(0.5) self.fc1 = nn.Linear(9216, 128) self.fc2 = nn.Linear(128, 10) def forward(self, x): x = self.conv1(x) x = F.relu(x) x = self.conv2(x) x = F.relu(x) x = F.max_pool2d(x, 2) x = self.dropout1(x) x = torch.flatten(x, 1) x = self.fc1(x) x = F.relu(x) x = self.dropout2(x) x = self.fc2(x) output = F.log_softmax(x, dim=1) return output ``` 模型训练过程： ```python device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") net = Net() net.to(device) criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.01, momentum=0.9) for epoch in range(10): # loop over the dataset multiple times running_loss = 0.0 for i, data in enumerate(trainloader, 0): # get the inputs; data is a list of [inputs, labels] inputs, labels = data[0].to(device), data[1].to(device) # zero the parameter gradients optimizer.zero_grad() # forward + backward + optimize outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() # print statistics running_loss += loss.item() if i % 100 == 99: # print every 100 mini-batches print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 100)) running_loss = 0.0 print('Finished Training') ``` 4. 模型测试 使用测试集对训练好的模型进行测试，并计算准确率。 ```python correct = 0 total = 0 with torch.no_grad(): for data in testloader: images, labels = data[0].to(device), data[1].to(device) outputs = net(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy of the network on the 10000 test images: %d %%' % ( 100 * correct / total)) ``` 实验结果： 使用上述模型，在MNIST数据集上进行训练，最终得到的准确率为98.94%。可以看出使用CNN实现手写数字识别是非常有效的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值