机器学习 --- 模型评估、选择与验证

最新推荐文章于 2023-03-31 23:14:40 发布
最新推荐文章于 2023-03-31 23:14:40 发布
阅读量275 收藏
点赞数
分类专栏： Educoder实训 文章标签： 机器学习 python numpy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Junds0/article/details/125963527
版权
这篇博客探讨了机器学习中的模型评估重要性，包括训练集与测试集的划分，欠拟合与过拟合的概念，偏差与方差的分析，以及验证集和交叉验证的使用。此外，还讲解了回归性能指标、准确度、混淆矩阵、精准率、召回率、F1 Score、ROC曲线和AUC，并提供了使用sklearn进行分类性能评估的实践。
摘要由CSDN通过智能技术生成

第1关：为什么要有训练集与测试集

本关任务：根据本节课所学知识完成本关所设置的选择题。

第1题

D

第2题

A

第2关：欠拟合与过拟合

本关任务：根据本节课所学知识完成本关所设置的选择题。

第1题

B

第2题

ABD

第3关：偏差与方差

本关任务：根据本节课所学知识完成本关所设置的选择题。

第1题

B

第4关：验证集与交叉验证

本关任务：根据本节课所学知识完成本关所设置的选择题。

第1题

D根据所有子模型评分的平均值来选择超参数

第2题

BCD

第5关：衡量回归的性能指标

本关任务：根据本关卡所学知识，完成选择题。

第1题

AB

第6关：准确度的陷阱与混淆矩阵

本关任务:填写 python 代码，完成 confusion_matrix 函数实现二分类混淆矩阵的构建。


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  Ssaty.
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
机器学习与数据挖掘-educoder-实训作业（模型评估、选择与验证）

				
			

			

				

					m0_64351669的博客
				

				

					10-16
					
					2566
					
				

			

		

		

			
				
机器学习与数据挖掘-educoder-实训作业（模型评估、选择与验证）

			
		

	



                

              
                



	

		

			

				
					
educoder 机器学习 --- 模型评估、选择与验证

				
			

			

				

					木右加木 就是木木
				

				

					11-08
					
					1923
					
				

			

		

		

			
				
第1关：为什么要有训练集与测试集
１、Ｄ
２、Ａ

第2关：欠拟合与过拟合
１、Ｂ
２、ＡＢＤ

第3关：偏差与方差
１、Ｂ

第4关：验证集与交叉验证
１、Ｄ
２、ＢＣＤ

第5关：衡量回归的性能指标
１、ＡＢ

第6关：准确度的陷阱与混淆矩阵
import numpy as np

def confusion_matrix(y_true, y_predict):
    '''
    构建二分类的混淆矩阵，并将其返回
    :param y_true: 真实类别，类型为ndarray
    :pa

			
		

	



                


  
              

                


	

		

			

				
					
模型评估和选择

				
			

			

				

					u014697805的博客
				

				

					12-12
					
					537
					
				

			

		

		

			
				
评估方法。 
1），留出法。 
将数据集D划分为两个互斥的子集，一个作为测试集，一个作为验证集。为保证准确性，可以随机，可以分层采样。 
一般是2/3-4/5用作训练，其余用作测试。 
2）， 交叉验证法。 
平均划分为K个大小相似得互斥子集，尽量数据分布与原数据集保持一致（可以用分层），每次用一个作为验证集，其他作为训练集，训练K次。最后结果取均值。 
留一法： 
有m个样本点，m=k. 
优点：

			
		

	





	

		

			

				
					
机器学习-5.模型评估、选择与验证

				
			

			

				

					Pretend的博客
				

				

					12-07
					
					6206
					
				

			

		

		

			
				
EduCoder平台：机器学习—模型评估、选择与验证
第1关：为什么要有训练集与测试集

第2关：欠拟合与过拟合

第3关：偏差与方差

第4关：验证集与交叉验证

第5关：衡量回归的性能指标

第6关：准确度的陷阱与混淆矩阵
编程要求：
根据提示，在 Begin-End 区域填写 python 代码，完成 confusion_matrix 函数实现二分类混淆矩阵的构建。
confusion_matrix 函数中的参数：


y_true：数据的真实类别，类型为 ndarray；


y_predict：

			
		

	



		

			
		



	

		

			

				
					
机器学习——模型评估、选择与验证

				
			

			

				

					qq_52669357的博客
				

				

					04-01
					
					6674
					
				

			

		

		

			
				
选择 评估 验证训练集与测试集过（欠）拟合偏差与方差
训练集与测试集
为了使机器学习训练的模型有效，可以用于实际情况中，我们不仅需要用训练集来对模型进行训练，还需要用测试集对模型进行测试以验证其可靠高效性。即训练集用来构建机器学习模型，测试集用来评估模型性能。
通常情况下我们都是将数据分为百分之八十和百分之二十，多的那部分用来做训练集，少的那部分用来做测试集。
过（欠）拟合
① 欠拟合：模型在训练集上误差很高；
原因：模型过于简单，没有很好的捕捉到数据特征，不能很好的拟合数据。

② 过拟合：在训练集上误差

			
		

	





	

		

			

				
					
机器学习——模型评估与选择(保持方法、交叉验证、自助法、混淆矩阵、精度、召回率、F1值)[超详细]

				
			

			

				

					csdn_cc_try
				

				

					09-13
					
					5288
					
				

			

		

		

			
				
模型性能评估



			
		

	





	

		

			

				
					
模型选择&&模型评估

				
			

			

				

					zhibing_ding的博客
				

				

					05-04
					
					3552
					
				

			

		

		

			
				
模型选择 模型评估

			
		

	





	

		

			

				
					
模型评估与优化2--模型评估与选择

				
			

			

				

					qiaoqiaomanman的博客
				

				

					03-30
					
					1702
					
				

			

		

		

			
				
模型评估与优化2–模型评估与选择
1.模型评估
模型在训练集上的误差通常称为 “训练误差” 或 “经验误差”，而在新样本上的误差称为 “泛化误差”。显然，机器学习的目的是得到泛化误差小的学习器。然而，在实际应用中，新样本是未知的，所以只能使训练误差尽量小。所以，为了得到泛华误差小的模型并避免过拟合，在构建模型时，通常将数据集拆分为相互独立的训练数据集，验证数据集和测试数据集等。
在训练过程中使用验...

			
		

	





	

		

			

				
					
吴恩达机器学习笔记（十）模型评估、选择、改进

				
			

			

				

					verse_armour的博客
				

				

					09-14
					
					855
					
				

			

		

		

			
				
模型的评估、选择、改进

			
		

	





	

		

			

				
					
西瓜书《机器学习》-第二章 模型评估与选择代码实现.zip

					
最新发布

				
			

			

				

					10-19
				

			

		

		

			
				
1、选取某UCI分类数据集，划分数据集，用10折交叉验证，选用两个现成的分类算法（或者一个算法、参数不同），得到分类模型A和B，给出交叉验证预测结果。 2、对两模型的交叉验证预测结果，分别给出混淆矩阵、P、R和F1...

			
		

	





	

		

			

				
					
机器学习——模型评估与选择思维导图

				
			

			

				

					11-26
				

			

		

		

			
				
机器学习模型评估与选择是机器学习领域中非常重要的一个环节。模型评估的目的是为了评估模型的泛化能力，即模型对未知数据的预测能力。模型选择是指选择合适的模型，以便于解决实际问题。  模型评估有两个方面：训练...

			
		

	





	

		

			

				
					
【无标题】选择

				
			

			

				

					Soul977的博客
				

				

					12-09
					
					2896
					
				

			

		

		

			
				
下列说法错误的是？  B
A、从树的根节点开始，根据特征的值一步一步走到叶子节点的过程是决策树做决策的过程
B、决策树只能是一棵二叉树
C、根节点所代表的特征是最优特征
---------------------------------------------------------------------------------
如果一个模型，它在训练集上正确率为85%，测试集上正确率为80%，则模型是过拟合还是欠拟合？其中，来自于偏差的误差为？来自方差的误差为？ B
A、欠拟合，5%，5%
B、欠拟..

			
		

	





	

		

			

				
					
机器学习：训练集与测试集的划分

					
热门推荐

				
			

			

				

					DataCastle
				

				

					12-17
					
					1万+
					
				

			

		

		

			
				
机器学习中有一个问题是不可避免的，那就是划分测试集和训练集。为什么要这么做呢，当然是提高模型的泛化能力，防止出现过拟合，并且可以寻找最优调节参数。训练集用于训练模型，测试集则是对训练好的模型进行评估的数据集。通常来说，训练集和测试集是不会有交集的，常用的数据集划分方法有以下两种：


留出法
	k折交叉验证法


留出法

直接将原数据集划分为两个互斥的数据集，即训练集与测试集。sklearn直接...

			
		

	





	

		

			

				
					
python绘制二分类混淆矩阵_详解使用python绘制混淆矩阵（confusion_matrix）

				
			

			

				

					weixin_39959298的博客
				

				

					12-04
					
					1506
					
				

			

		

		

			
				
Summary涉及到分类问题，我们经常需要通过可视化混淆矩阵来分析实验结果进而得出调参思路，本文介绍如何利用python绘制混淆矩阵(confusion_matrix)，本文只提供代码，给出必要注释。Code​# -*-coding:utf-8-*-from sklearn.metrics import confusion_matriximport matplotlib.pyplot as plt...

			
		

	





	

		

			

				
					
图像分类模型评估之用python绘制混淆矩阵confusion_matrix

				
			

			

				

					weixin_43984636的博客
				

				

					03-31
					
					6067
					
				

			

		

		

			
				
import oslabel = filename.split('.')[0] # 假设文件名为"label.image_id.jpg"格式label = label.split('_')[0] # 仅保留label信息# 加载数据集并进行预处理transforms.Resize((224, 224)), # 图像大小调整为224x224transforms.ToTensor(), # 将图像转换为Tensor格式，并将像素值缩放到[0, 1]

			
		

	





	

		

			

				
					
机器学习基础（笔记2）

				
			

			

				

					wxl
				

				

					02-19
					
					2388
					
				

			

		

		

			
				
常见概念


准确率的不足和混淆矩阵：
准确对越高就能说明模型的分类性能越好吗？举个例子，现在我开发了一套癌症检测系统，只要输入你的一些基本健康信息，就能预测出你现在是否患有癌症，并且分类的准确度为 0.999。这样的系统的预测性能好不好呢？
你可能会觉得，哇，这么高的准确度！这个系统肯定很牛逼！但是我们知道，一般年轻人患癌症的概率非常低，假设患癌症的概率为 0.001，那么其实我这个癌症检测系统...

			
		

	





	

		

			

				
					
深度学习500问阅读笔记——图解欠拟合、过拟合

				
			

			

				

					xiashilin的博客
				

				

					04-12
					
					1025
					
				

			

		

		

			
				
这是深度学习500问系列笔记之一，帮助我深入记忆知识，如有不足，随时欢迎交流和探讨。

7.图解欠拟合、过拟合？

根据不同的坐标方式，欠拟合与过拟合图解不同。

1）横轴为训练样本数量，纵轴为误差






如上图所示，可以直观看出欠拟合和过拟合的区别：

模型欠拟合：在训练集以及测试集上同时具有较高的误差，此时模型的偏差较大；

模型过拟合：在训练集上具有较低的误差，在测试集上具有较高的误...

			
		

	





	

		

			

				
					
关于欠拟合和过拟合问题

				
			

			

				

					macb007的博客
				

				

					03-27
					
					1615
					
				

			

		

		

			
				
       在我们机器学习或者训练深度神经网络的时候经常会出现欠拟合和过拟合这两个问题，但是，一开始我们的模型往往是欠拟合的，也正是因为如此才有了优化的空间，我们需要不断的调整算法来使得模型的表达能拿更强。但是优化到了一定程度就需要解决过拟合的问题了，这个问题也在学术界讨论的比较多。       首先就是我们在进行模型训练的时候会出现模型不能够很好地拟合数据的情况，这个时候就需要我们来判断究竟现...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
Ssaty.

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值