alpha_fallen_down的博客

转自：炼丹实验室之前曾经写过一篇文章，讲了一些深度学习训练的技巧，其中包含了部分调参心得：深度学习训练心得。不过由于一般深度学习实验，相比普通机器学习任务，时间较长，因此调参技巧就显得尤为重要。同时个人实践中，又有一些新的调参心得，因此这里单独写一篇文章，谈一下自己对深度学习调参的理解，大家如果有其他技巧，也欢迎多多交流。好的实验环境是成功的一半由于深度学习实验超参众多，代码风格良好的...

转自:https://www.cnblogs.com/noticeable/p/9197640.html1、什么是算子及不同算子的介绍　　算子是一个函数空间到函数空间上的映射O：X→X。广义上的算子可以推广到任何空间，如内积空间等。　　在图像处理中，通常会使用一些不同的算子来对图像进行处理。下面介绍一下图像处理中常用的一些算子。1.相关算子（Correlation Oper...

转自:https://zhuanlan.zhihu.com/p/33173246深度神经网络模型训练之难众所周知，其中一个重要的现象就是 Internal Covariate Shift. Batch Norm 大法自 2015 年由Google 提出之后，就成为深度学习必备之神器。自 BN 之后， Layer Norm / Weight Norm / Cosine Norm 等也横空...

转自:https://zhuanlan.zhihu.com/p/41296455在移动设备上进行深度学习时，模型预测的好坏并不是唯一的考虑因素。你还需要担心：· 模型在应用程序包中占用的空间量- 单个模型有可能为应用程序的下载大小增加100个MB· 它在运行时占用的内存量- 在iPhone和iPad上，GPU可以使用设备中的所有RAM，但这仍然只有几GB，当你的可用内存耗尽时，应用程...

在本文中，作者对包括 Relu、Sigmoid 在内的 26 种激活函数做了可视化，并附上了神经网络的相关属性，为大家了解激活函数提供了很好的资源。在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分（或者至少是几乎完全可微分的）。此外，复杂的激活函数也许产生一些梯度消...