利用对于kaggle商品图片的分类

最新推荐文章于 2024-08-01 09:59:27 发布
最新推荐文章于 2024-08-01 09:59:27 发布
阅读量421 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37180639/article/details/78389269
版权
本文介绍了一位初学者在kaggle上处理一个关于时尚服装分类的数据集，该数据集包含10类衣物，如T恤、裤子等。作者提到即使人眼难以区分某些类别，但通过CNN神经网络可以实现86.33%的高准确率。随后，文章分享了如何使用csv读取数据，并讨论了数据标准化和批量处理(batch)在训练过程中的重要性，强调批量化处理对于大数据集的必要性。
摘要由CSDN通过智能技术生成

偶然在kaggle上面看到一个比较适合初学者的数据集，这个数据集是对于一些时尚服装的分类，一共有10种物品分别是：

  • 0 T-shirt/top
  • 1 Trouser
  • 2 Pullover
  • 3 Dress
  • 4 Coat
  • 5 Sandal
  • 6 Shirt
  • 7 Sneaker
  • 8 Bag
  • 9 Ankle boot
  •  
  • 对应的中文是：
  • 0.T恤
  • 1.裤子
  • 2.套衫
  • 3.连衣裙
  • 4.大衣
  • 5.凉鞋
  • 6.衬衫
  • 7.运动鞋
  • 8.手提袋
  • 9.靴子

每个商品数据会有一个28x28 色位为1的图片数组，例如：

标签给的是4.大衣，话说这和套衫有什么区别？好像人眼都无法准确识别，但是通过CNN神经网络的学习准确率竟然高达86.33%！！！而且我认为一定可以更高

废话不多说开始上代码：

首先是利用csv这个包将csv文件读取到变量，也就是

csvreader=csv.reader(open(data_dir,encoding='utf-8'))

#这里需要将编码转换成utf-8格式否则会报错

1.首先将文件读取

 


                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  我有离歌和清酒
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
Kaggle - 图像分类(CIFAR-10)

				
			

			

				

					Kevin_Carpricron的博客
				

				

					04-09
					
					3129
					
				

			

		

		

			
				
Kaggle–图像分类(CIFAR-10) 基于Pytorch的实现

CIFAR-10 是计算机视觉领域中一个非常重要的数据集. 它由Hinton的学生Alex Krizhevsky 和 Ilya Sutskever整理的小型数据集. 其中包括 10 个不同类别的RGB 3通道 32 * 32 的图像: 飞机 (airplane)、汽车 (automobile)、鸟类 (bird)、猫 (cat)、鹿(deer)、狗(dog)、蛙类(frog)、马(horse)、船(ship) 和卡车 (truck). 

			
		

	



                

              
                



	

		

			

				
					
如何将Kaggle图片文件快速分类

				
			

			

				

					MyHeartWillGoOn
				

				

					03-23
					
					764
					
				

			

		

		

			
				
文章目录题目前言步骤确定种类数创建种类文件夹将文件移动到对应种类文件夹创建dataset创建dataloader查看是否创建dataloader成功后记
题目
如何将Kaggle图片文件快速分类
前言
如果还不知道如何使用谷歌云盘下载Kaggle数据集+解压的小伙伴可以参考我的文章来教你解压！
下载完数据集解压后的文件分布，本文是拿dog-breed-identification来举例的

步骤
确定种类数

输出各个种类的狗的数量

import pandas as pd

dog = pd.read_c

			
		

	



                


  
              

                


	

		

			

				
					
深度学习实战笔记7kaggle比赛：图像分类

					
最新发布

				
			

			

				

					yyyy2711的博客
				

				

					08-01
					
					978
					
				

			

		

		

			
				
train_iter: 训练数据的迭代器。: 训练和验证数据的迭代器（如果有的话）。valid_iter: 验证数据的迭代器。test_iter: 测试数据的迭代器。batch_size: 每个批次加载的样本数量，这个变量在代码中没有直接定义，应该在外部定义好。模型: 定义了一个继承自的类，这意味着这个块可以在图的编译模式下运行，也可以在命令式模式下运行。: 构造函数接受以下参数：: 卷积层的通道数。: 一个布尔值，指示是否使用1x1卷积来匹配通道数和降低维度。strides。

			
		

	





	

		

			

				
					
图片分类 kaggle-Classify Leaves

				
			

			

				

					m0_56607174的博客
				

				

					07-18
					
					581
					
				

			

		

		

			
				
图片分类 kaggle-Classify Leaves（继承pytorch的Dataset）

			
		

	



		

			
		



	

		

			

				
					
用 Kaggle 经典案例教你用 CNN 做图像分类！

				
			

			

				

					weixin_33721427的博客
				

				

					08-02
					
					1802
					
				

			

		

		

			
				
前言
在上一篇专栏中，我们利用卷积自编码器对 MNIST 数据进行了实验，这周我们来看一个 Kaggle 上比较经典的一个图像分类的比赛 CIFAR(CIFAR-10 - Object Recognition in Images)，这个比赛现在已经关闭了，但不妨碍我们来去通过它学习一下卷积神经网络做图像识别的代码结构。相信很多学过深度学习的同学都尝试...

			
		

	





	

		

			

				
					
kaggle实战图像分类-Intel Image Classification（附源码）

				
			

			

				

					weixin_62428212的博客
				

				

					02-06
					
					1567
					
				

			

		

		

			
				
基于卷积神经网络的图像分类

			
		

	





	

		

			

				
					
kaggle_product_classify:Kaggle Otto 产品分类竞赛

				
			

			

				

					06-10
				

			

		

		

			
				
"Kaggle Otto 产品分类竞赛"是一场旨在测试参赛者对商品分类能力的比赛，要求参赛者通过机器学习技术，将Otto Group的商品数据进行精确的分类。这次竞赛不仅考察了参赛者的算法设计和优化技能，同时也强调了数据...

			
		

	





	

		

			

				
					
kaggle-Fruit Recognition9-Tomatoes.zip

				
			

			

				

					05-16
				

			

		

		

			
				
对于较小的数据集，可以考虑迁移学习，利用预训练的模型如ImageNet上的权重来初始化网络，这将加速训练过程并提高模型性能。  训练与验证： 在训练过程中，数据集通常分为训练集和验证集。训练集用于训练模型，而...

			
		

	





	

		

			

				
					
kaggle-Fruit Recognition2-Apple D.zip 2/2

				
			

			

				

					05-16
				

			

		

		

			
				
对于这样的多分类问题，常用的评估指标有准确率、精确率、召回率以及F1分数。  在实际应用中，这种水果识别模型可以被集成到智能手机应用中，帮助用户识别拍摄的水果种类，或者在农业自动化中，辅助检测和分类水果，...

			
		

	





	

		

			

				
					
Kaggle比赛整理

					
热门推荐

				
			

			

				

					kepcum
				

				

					06-16
					
					2万+
					
				

			

		

		

			
				
传送门：https://www.kaggle.com/competitions点击打开链接这里仅列出前50个比赛，全部的271个比赛word版下载地址：正在进行的比赛1、     Home Credit Default Risk利用各种替代数据（包括电信和交易信息）预测客户的还款能力。2、     TrackML Particle TrackingChallengeCERN探测器中的高能物理粒子追...

			
		

	





	

		

			

				
					
kaggle中关于图像的比赛整理

				
			

			

				

					06-16
				

			

		

		

			
				
传送门：https://blog.csdn.net/qq_33614902/article/details/80713740

			
		

	





	

		

			

				
					
kaggle竞赛记录之衣服分类

				
			

			

				

					羊城迷鹿的博客
				

				

					11-01
					
					766
					
				

			

		

		

			
				
文章目录竞赛概述获取测试集和验证集准备原始数据分层抽样数据集类加载数据引入模型训练函数开启训练生成预测结果
竞赛概述
比赛地址：https://www.kaggle.com/c/dm2019springproj3
数据集为包含八类衣服的图片，目标是预测测试集中的衣服的类别。
获取测试集和验证集
准备原始数据
from typing import List
import logging
from t...

			
		

	





	

		

			

				
					
动手学深度学习Kaggle：图像分类 (CIFAR-10和Dog Breed Identification), StratifiedShuffleSplit，数据集划分

				
			

			

				

					iwill323的博客
				

				

					10-10
					
					3580
					
				

			

		

		

			
				
动手学深度学习Kaggle：图像分类 (CIFAR-10)

			
		

	





	

		

			

				
					
图像分类：来自13个Kaggle项目的经验总结

				
			

			

				

					小白学视觉
				

				

					02-17
					
					672
					
				

			

		

		

			
				
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达任何领域的成功都可以归结为一套小规则和基本原则，当它们结合在一起时会产生伟大的结果。机器学习和图像分类也不例外，工程师们可以通过参加像Kaggle这样的竞赛来展示最佳实践。在这篇文章中，我将给你很多资源来学习，聚焦于从13个Kaggle比赛中挑选出的最好的Kaggle kernel。这些比赛是:Intel Image Class...

			
		

	





	

		

			

				
					
从零开始学Pytorch（十八）之kaggle图像分类

				
			

			

				

					Wenrui Xie的博客
				

				

					03-26
					
					1060
					
				

			

		

		

			
				
我们将运用在前面几节中学到的知识来参加Kaggle竞赛，该竞赛解决了CIFAR-10图像分类问题。比赛网址是https://www.kaggle.com/c/cifar-10.


import numpy as np
import torch
import torch.nn as nn
import torch.optim as optim
import torchvision
import t...

			
		

	





	

		

			

				
					
实战 Kaggle 比赛：图像分类（CIFAR-10） 动手学深度学习v2

				
			

			

				

					AI架构师易筋
				

				

					04-26
					
					2216
					
				

			

		

		

			
				
1. 实战 Kaggle 比赛：图像分类（CIFAR-10）
https://www.kaggle.com/c/cifar-10














2. Q&A



凸函数表示有最优解。损失函数是个凸函数，但是神经网络大多数都是非凸的，一般神经网络是没有最优解的。




momentum表示把曲线变得平滑一点。




Scheduler 前期选择的学习率大一点，后期学习率变小一点。类似年轻的时候多出去看看。




sgd 相当于做了regular的作用，所以sgd比别的算法好一点。

			
		

	





	

		

			

				
					
2018.8.8 kaggle 图像分类项目

				
			

			

				

					qq_38113406的博客
				

				

					08-13
					
					2575
					
				

			

		

		

			
				
1.今天接到一个电话面试，上来就问我怎么检查单链表有环。 
   思路：如果一个单链表中有环，用一个指针去遍历，永远不会结束，所以可以用两个指针，一个指针一次走一步，另一个指针一次走两步，如果存在环，则这两个指针会在环内相遇，时间复杂度为O(n)。

2.Kaggle 比赛：图像分类（CIFAR-10）

首先，导入实验所需的包或模块。



import sys
sys.path.insert(...

			
		

	





	

		

			

				
					
SVM在Kaggle猫狗图片分类中的应用研究

				
			

			

				

					
				

			

		

		

			
				
本资源将详细介绍如何利用SVM这一强大的监督学习算法对猫狗图片进行分类。  SVM基本概念： 支持向量机（SVM）是一种二分类模型，其基本模型定义在特征空间上间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值