小花生的博客

机器学习策略-不匹配的训练和开发/测试数据1.训练和测试数据不匹配的问题深度学习对训练数据的需求很大，当你收集到足够多带标签的数据，构成训练集时算法效果最好，这导致很多团队用尽一切办法收集数据，然后把它们堆到训练集里 让训练的数据量更大，即使有些数据 甚至是大部分数据，都来自和开发集、测试集不同分布.下面解释一些方法来处理训练集和测试集存在差异的情况。 Example1： 假设你要...

Domain Adaptation在经典的机器学习问题中，我们往往假设训练集和测试集分布一致，在训练集上训练模型，在测试集上测试。然而在实际问题中，测试场景往往非可控，测试集和训练集分布有很大差异，这时候就会出现所谓过拟合问题：模型在测试集上效果不理想。 以人脸识别为例，如果用东方人人脸数据训练，用于识别西方人，相比东方人识别性能会明显下降。 当训练集和测试集分布不一致的情况下，通过在训练...

Domain Adaptive（特征层面）继Jason Yosinski在2014年的NIPS上的《How transferable are features in deep neural networks?》探讨了深度神经网络的可迁移性以后，有一大批工作就开始实际地进行深度迁移学习。简要回顾一下Jason工作的重要结论：对于一个深度网络，随着网络层数的加深，网络越来越依赖于特定任务；而浅层...

更优的ImageNet模型可迁移性更强？谷歌大脑论文给出验证《Do Better ImageNet Models Transfer Better？》摘要：现代计算机视觉研究的一个隐含的假设是，在 ImageNet 上性能更好的模型必定在其它的视觉任务上表现得更好。然而，这个假说从来没有被系统地验证过。谷歌大脑研究者在 3 组实验环境下对比了 13 个分类模型在 12 个图像分类任务上的...

生产级深度学习的开发经验分享：数据集的构建和提升是关键选自Pete Warden’s Blog，作者：Pete Warden。背景：深度学习的研究和生产之间存在较大差异，在学术研究中，人们一般更重视模型架构的设计，并使用较小规模的数据集。本文从生产层面强调了深度学习项目开发中需要更加重视数据集的构建，并以作者本人的亲身开发经验为例子，分享了几个简单实用的建议，涉及了数据集特性、...

迁移学习背景：在传统的机器学习的框架下，学习的任务就是在给定充分训练数据的基础上来学习一个分类模型；然后利用这个学习到的模型来对测试文档进行分类与预测。然而，我们看到机器学习算法在当前的Web挖掘研究中存在着一个关键的问题：一些新出现的领域中的大量训练数据非常难得到。我们看到Web应用领域的发展非常快速。大量新的领域不断涌现，从传统的新闻，到网页，到图片,再到博客、播客等等。传统的机器学习需要...