浅谈深度学习尝常识:泛化、过拟合、Dropout、Attention

本文介绍了深度学习中的泛化能力,探讨了过拟合和欠拟合的概念,并重点阐述了Dropout作为防止过拟合的策略。通过随机删除神经元,Dropout有助于减少复杂共适应关系,提高模型的鲁棒性。此外,文章还简要提及了Attention机制在序列输入中的应用,模拟人类注意力机制,提高模型的表现。
摘要由CSDN通过智能技术生成

     刚开始接触深度学习,难免有很多名词概念的陌生、不清晰;当然,如果要快速考核一个人的深度学习”深度“,尤其是在面试过程中,同行会问到,有没有出现过拟合呀?怎么解决呀?这些问题看起来很高深,或者需要很深厚的功底才能回答,但是只要整理好思路,还是很清晰的一条线索:不妨用这篇博客作为您学习的开端?但愿我恰能抛砖引玉:

概要:机器学习中的泛化:

    我们描述从训练数据学习目标函数的学习过程为归纳性的学习。

        归纳与特别的样本中学习到通用的概念有关,而这就是监督式机器学习致力于解决的问题。这与推演不同,其主要是另一种解决问题和寻求从通常的规则中找寻特别的内容。

 泛化即是,机器学习模型学习到的概念在它处于学习的过程中时模型没有遇见过的样本时候的表现。

也叫做广义化:例如:将“大雁”广义化(归类)之后是“鸟类”,将“鸟类”广义化(归类)之后是“动物”。

好的机器学习模型的模板目标是从问题领域内的训练数据到任意的数据上泛化性能良好。这让我们可以在未来对模型没有见过的数据进行预测

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值