关于更多L1、L2的详细介绍可以参考：L1、L2正则化
dropout
dropout方法是ImageNet中提出的一种方法，通俗一点讲就是dropout方法在训练的时候让神经元以一定的概率不工作。
ok，以上就是避免过拟合的一些方法，下面我们正式讲下dropout是如何防止过拟合问题的。
Dropout是如何防止过拟合的？
在理解为什么Dropout对过拟合为什么有效之前，我们先看下Hinton大神发明Dropout这个利器的灵感和动机是什么。
Dropout的灵感：遗传和突变
我们来看一张图
左边这张是没有用dropout的神经网络，右边这张是使用了dropout的神经网络。大家一眼应该就能看出它们之间的区别，明显左边的网络是比较复杂的，右边它似乎删除了一些神经元，让整个网络变得更小。
无性繁殖vs有性繁殖
在Hinton大神论文中做了这样的类比，无dropout的网络和经过dropout的网络可以类比成无性繁殖和有性繁殖，为什么它们可以做这样的类比，我们就要从这两者之间的特点来看。
无性繁殖有以下特点：
-
遗传单亲基因
-
继承优秀基因，轻微突变（不变坏）
而有性繁殖则是：
-
遗传双亲独特基因
-
组合之后，加上随机的突变（可好，可坏）
从这两者的特点来看，似乎无性繁殖会更有优势才对，因为无性生殖的物种可以基本把父辈的基因内容都保留下来，而这些基因是父辈优化好的结果，如果一直这样下去的话，应该会越来越优才对。但实际上并非如此，从进化的角度来看，有性繁殖是比无性繁殖要更高级的。因为有性繁殖它通过基因的随机组合，打破了基因组之间的co-adaptation（联合适应性），意思减少了基因组之间的依赖，这样能让它们在突变的环境下产生更好的适应性。
无dropout的网络就像无性繁殖一样，它虽然能够学习到一些东西，但它更多适用于数据固定的情况，特征也比较固定的情况，它确实是能很有效的拟合数据。但一旦出现不可预见的数据的时候，它就会变得手无足措了。 而使用dropout的网络更能符合我们的实际的场景，网络需要去突变，去进化去适应环境，这样才能更好的去适应非特定场景的情况，具有更好的泛化能力。
Dropout带来的模型变化
左边：在训练时，每个神经单元都可能以概率p去除。
右边：在测试阶段，每个神经元都是存在的，权重参数w要乘以p，成为pw。
左边我们应该比较好理解，每个神经元都有概率p参与单次神经网络的训练。而测试的时候，神经元是不会去除的，每个神经元都是存在的，权重参数w要乘以p。那么这里就产生一个问题，为什么参数w要乘以概率p。
问题：怎么理解测试时权重参数w要乘以概率p？
假设总共有100个神经元，训练的时候我们加上dropout，p=0.5，那么我们就有50个神经元参与训练，那么我们每次50个神经元训练出来的模型参数w是要比直接100个神经元要小的，因为它更新的次数会更少。我们测试的时候100个神经元是都会参与计算的，这就跟训练的时候我们使用50个神经元产生差异了，如果要保证测试的时候每个神经元的关联计算不能少，只能从通过改变w来达到跟训练时一样输出，所以才会有权重参数w乘以p。
标准网络和dropout网络有什么不一样
左边是简单的模型，右边是含有dropout的模型。
l: hidden layer index (隐藏层索引）
z: denote the vector of inputs into layer l(表示l层的向量输入）
y: output of each layer（每一层的输出）
y0: input layer（输入层）
f: activation function（激活函数）
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加V获取：vip204888 （备注Android）
如何做好面试突击，规划学习方向？
面试题集可以帮助你查漏补缺，有方向有针对性的学习，为之后进大厂做准备。但是如果你仅仅是看一遍，而不去学习和深究。那么这份面试题对你的帮助会很有限。最终还是要靠资深技术水平说话。
网上学习 Android的资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。建议先制定学习计划，根据学习计划把知识点关联起来，形成一个系统化的知识体系。
学习方向很容易规划，但是如果只通过碎片化的学习，对自己的提升是很慢的。
同时我还搜集整理2020年字节跳动，以及腾讯，阿里，华为，小米等公司的面试题，把面试的要求和技术点梳理成一份大而全的“ Android架构师”面试 Xmind（实际上比预期多花了不少精力），包含知识脉络 + 分支细节。
在搭建这些技术框架的时候，还整理了系统的高级进阶教程，会比自己碎片化学习效果强太多。
网上学习 Android的资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。希望这份系统化的技术体系对大家有一个方向参考。
一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！
AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算
droid移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算**
750
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
