AI程序媛的博客

如何提升PyTorch“炼丹”速度？最近，有一位名叫Lorenz Kuhn的小哥，分享了他在炼丹过程中总结的17种投入最低、效果最好的提升训练速度的方法，而且基本上都可以直接在PyTorch中进行更改，无需引入额外的库。Faster Deep Learning Training with Pytorch - a 2021 Guide不过需要注意的是，这些方法都是假设是在GPU上训练模型。这一分享在Reddit上得到了600的热度。接下来，我们便从提速高低开始，依次对这些方..

由于神经网络可以随意设计，先验假设较少，参数多，超参数更多，那模型的自由度就非常高了，精心设计对于新手就变得较难了。这里简单介绍一些CNN的trickCNN的使用神经网络是特征学习方法，其能力取决隐层，更多的连接意味着参数爆炸的增长，模型复杂直接导致很多问题。比如严重过拟合，过高的计算复杂度。CNN其优越的性能十分值得使用，参数数量只和卷积核大小，数量有关，保证隐含节点数量（...

Adam那么棒，为什么还对SGD念念不忘

1. 梳理数据训练神经网络的第一步是不要碰代码，先彻底检查自己的数据。这一步非常关键。我喜欢用大量时间浏览数千个样本，理解它们的分布，寻找其中的模式。有一次，我发现数据中包含重复的样本，还有一次我发现了损坏的图像／标签。我会查找数据不均衡和偏差。我通常还会注意自己的数据分类过程，它会揭示我们最终探索的架构。比如，只需要局部特征就够了还是需要全局语境？标签噪声多大？2. 配置端到端训练/评估...

顾名思义，batch normalization嘛，即“批规范化”，主要作用是为了防止“梯度弥散”。关于梯度弥散，举个很简单的例子，。1. BN原理B有人可能会说，BN不就是在网络中间层数据做一个归一化处理嘛，这么简单的想法，为什么之前没人用呢？然而其实实现起来并不是那么简单的。其实如果仅仅对网络某一层A的输出数据做归一化，然后送入网络下一层B，这样是会影响到本层网络A所学习到的特征的。打...