深度学习如何提高训练集准确率_吴恩达深度学习笔记(61)-训练调参中的准确率和召回率...

单一数字评估指标(Single number evaluation metric)

无论你是调整超参数,或者是尝试不同的学习算法,或者在搭建机器学习系统时尝试不同手段,你会发现,如果你有一个单实数评估指标,你的进展会快得多,它可以快速告诉你,新尝试的手段比之前的手段好还是差。

所以当团队开始进行机器学习项目时,我经常推荐他们为问题设置一个单实数评估指标。

41ac23b0745ed051346c68c81d1b6e00.png

我们来看一个例子,你之前听过我说过,应用机器学习是一个非常经验性的过程,我们通常有一个想法,编程序,跑实验,看看效果如何,然后使用这些实验结果来改善你的想法,然后继续走这个循环,不断改进你的算法。

比如说对于你的猫分类器,之前你搭建了某个分类器A,通过改变超参数,还有改变训练集等手段,你现在训练出来了一个新的分类器B,所以评估你的分类器的一个合理方式是观察它的查准率(precision,也叫准确率)和查全率(recall 也叫召回率)。

2feb38e5d430771fae65df64cdd24f8d.png

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
一直以为机器学习的重点在于设计精巧、神秘的算法来模拟人类解决问题。学了这门课程才明白如何根据实际问题优化、调整模型更为重要。事实上,机器学习所使用的核心算法几十年来都没变过。 什么是机器学习呢?以二类分类监督学习为例,假设我们已经有了一堆训练数据,每个训练样本可以看作n维空间里的一个点,那么机器学习的目标就是利用统计算法算出一个将这个n维空间分成两个部分(也就是把空间切成两半)的分界面,使得相同类别的训练数据在同一个部分里(在分界面的同侧)。而所用的统计算法无非是数学最优化理论的那些算法,梯度下降法等等。 在机器学习的模型,神经网络是一个比较特殊的模型。因为它比较万能。万能二字可不是随便说说的,有定理为证,万能近似定理说,当神经网络的隐藏单元足够多,它就能逼近任意函数。也就是说,只要提供的训练数据量充足,就一定能用一个隐藏单元够多的神经网络去拟合这些训练数据。然而神经网络也有一个很严重的缺点:收敛速度太慢。这一缺点导致很长时间以来神经网络基本上都只能当作理论的标杆而很少被应用于实际问题。 近年来神经网络的兴起得益于三点:1. 算法进展;2. 大数据;3. 硬件提升。这三点使得神经网络(特别是深层网络)的训练速度大幅度提升。前面有说到,模型优化调整过程对于模型的建立至关重要。使用机器学习解决实际问题是一个持续迭代探索优化的过程,需要不断地试错。就好比在走迷宫,你不可能一开始就知道正确的路线在哪,只能加快步伐,尽可能快,尽可能早地走过每一条死路,并祈祷出口是存在着的。优化调整需要反复地训练模型,观察结果。在以前,一次训练可能耗时几个月甚至几年,这种情况下进行迭代调优的时间成本是不可接受的。而现在一次迭代可能只需要很短的一段时间,同时并发技术也使得同时训练不同参数的模型的方案变得可行。快速迭代,优化调整,使神经网络能够越来越多的应用于各种实际问题。 吴恩达的课程数学上是比较基础的。课程前面部分讲解了神经网络相关的主要算法,后面则侧重于讲工程上如何使用各种策略来调整优化模型使之能够快速地拟合实际问题。
### 回答1: 查准率(Precision)和查全率(Recall)是评估分类器性能的两个重要指标。查准率是指分类器预测为正类的样本,真正为正类的比例;而查全率是指在所有真正为正类的样本,分类器正确预测为正类的比例。 在实际应用,查准率和查全率之间存在一种权衡关系。当我们希望将所有真实正例都正确预测出来时,需要提高查全率,但这可能会导致将一些真实负例错误地判定为正例,从而降查准率;反之,如果我们更注重将预测结果的正例准确性提高到最高,就需要提高查准率,但这可能会漏掉一些真实正例,从而降查全率。 因此,在不同的场景下,我们需要根据具体的需求和目标选择不同的指标进行优化,或者综合考虑查准率和查全率,如F1值、ROC曲线等。 ### 回答2: 查准率和查全率是在二分类问题评估模型性能时常用的指标。查准率是指模型在预测结果的正例有多少是真正的正例,而查全率是指模型能够将真正的正例预测为正例的比例。 在实际应用,通常需要权衡查准率和查全率,因为两者之间存在一种权衡关系。提高查准率的同时,查全率往往会下降;反之亦然。 如果我们更关注查准率,希望在模型判断为正例的情况下尽可能准确,可以采取一些措施,如提高阈值或调整算法的参数,以减少误判的情况发生。这样可以增加正例的精确性,即查准率。然而,这也可能导致将一些真正的正例错误地判断为负例,从而降了查全率。 相反地,如果我们更关注查全率,即希望尽可能多地找出所有真正的正例,可以采取一些措施,如降阈值或调整算法的参数,以增加正确判断的正例数量。这样虽然可以增加查全率,但也可能将一些真正的负例错误地判断为正例,从而降了查准率。 权衡查准率和查全率的选择应该根据实际应用的需求和重视程度而定。例如,在肿瘤预测,我们可能更注重查准率,因为将正常的患者误判为肿瘤患者可能导致不必要的恐慌和进一步的检查;而在安全检查,我们可能更注重查全率,因为将危险物品误判为安全物品可能会导致安全隐患的发生。 综上所述,查准率和查全率之间存在一种权衡关系。根据实际应用需求,我们可以通过调整模型的参数或设置适当的阈值来平衡这两者,以达到最优的模型性能。 ### 回答3: 查准率和查全率是用来衡量分类模型性能的两个重要指标。查准率反映了分类模型所预测的正例有多少是真正的正例,查全率反映了分类模型能够检测到多少真正的正例。在实际应用,我们往往希望在两者之间进行权衡。 当我们对查准率更为关注时,我们希望分类模型能够尽可能准确地预测出正例。这种情况下,我们会采取一些措施来提高查准率,例如增加预测为正例的阈值,减小误判的概率。在医学诊断等领域,查准率的重要性更为突出,因为诊断结果的准确性对患者的生命健康有着直接影响。 当我们对查全率更为关注时,我们希望分类模型能够尽可能多地检测出真正的正例。这种情况下,我们会采取一些措施来提高查全率,例如降预测为正例的阈值,增加捕捉真正正例的概率。在信息检索等领域,查全率的重要性更为突出,因为我们希望尽可能多地找到相关的信息。 在实际应用,我们需要根据具体任务的需求来进行权衡。有些任务对查准率和查全率的要求相对平衡,需要同时考虑两者。为了达到平衡,我们可以采用F1分数来综合考虑查准率和查全率,平衡两者之间的权衡。F1分数是查准率和查全率的调和平均值,对两者平等看待。 总之,查准率和查全率是分类模型性能的两个重要指标,根据不同任务的需求,我们需要在两者之间进行权衡,或者采用F1分数来综合考虑两者。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值