好多要学的啊...下午要去上课做汇报.
汇报完了,痛心疾首啊,以后要懂得包装,及时是down的代码也要包装下。封装几个api,就说自己编译的库。
今天重拾下CNN。重要的是上手练习。
整理下CNN的资料。CNN之前有接触过,学的不深入。
这两个不要看,讲者水平较低,讲得不够透彻,措辞不严谨。
卷积神经网络CNN完全指南终极版(一) - 知乎 (zhihu.com)
卷积神经网络CNN完全指南终极版(二) - 知乎 (zhihu.com)
这个还行,上课的时候看看。
卷积神经网络(CNN)基础及经典模型介绍 - 知乎 (zhihu.com)
视频学习:【什么是CNN?】浙大大佬教你怎么卷CNN,卷积神经网络CNN从入门到实战,通俗易懂草履虫听了都点头(人工智能、深度学习、机器学习、计算机视觉)_哔哩哔哩_bilibili
什么是消融实验?
类似于控制变量方法,常用于神经网络中用于验证某一模块的效果。
例如:为了提升Baseline的性能,增加了A、B两个模块。为了验证A、B两个模块确实有效,需要进行消融实验。
1.在baseline的基础上增加模块A,比较效果
2.在baseline的基础上增加模块B,比较效果
3.在baseline的基础上同时增加模块A、B,比较效果
结果表明:
1)实验1和实验2的效果不如实验3,那么A+B是有效果的。
2)若实验1和实验2分别都优于只有baseline的情况,则A、B均有一定的效果。
注意:在实验中要控制变量。
(8 封私信 / 80 条消息) 消融实验是什么? - 知乎 (zhihu.com)
“消融研究”这一术语的根源于20世纪60年代和70年代的实验心理学领域,其中动物的大脑部分被移除以研究其对其行为的影响。
在机器学习,特别是复杂的深度神经网络的背景下,已经采用“消融研究”来描述去除网络的某些部分的过程,以便更好地理解网络的行为。
自从Keras深度学习框架的主要作者Francois Chollet在2018年6月发布twtter以来,该术语受到了关注:
消融研究对于深度学习研究至关重要
。理解系统中的因果关系是产生可靠知识的最直接方式(任何研究的目标)。消融是一种非常省力的方式来研究因果关系。
如果您采用任何复杂的深度学习实验设置,您可能会删除一些模块(或用随机的模块替换一些训练有素的功能)而不会降低性能。消除研究过程中的噪音:进行消融研究。
无法完全理解您的系统?很多活动部件?想确定它的工作原因是否与您的假设密切相关?尝试删除东西。花费至少约10%的实验时间来诚实地反驳你的论文。
举个例子:Girshick及其同事描述了一个由三个“模块”组成的物体检测系统:第一个使用选择性搜索算法提出图像区域,在该区域内搜索物体。进入一个大的卷积神经网络(有5个卷积层和2个完全连接的层),进行特征提取,然后进入一组支持向量机进行分类。为了更好地理解该系统,作者进行了一项消融研究,其中系统的不同部分被移除 - 例如,移除CNN的一个或两个完全连接的层导致性能损失惊人地少。
这使作者得出结论:
CNN的大部分代表性力量来自其卷积层,而不是来自更大的密集连接层。
例子参考:
Girshick, R., Donahue, J., Darrell, T. and Malik, J., 2014. 《Rich feature hierarchies for accurate object detection and semantic segmentation》. In Proceedings of the IEEE conference on computer vision and pattern recognition (580-587页).
(没空看啊算了吧今天先看CNN)