[实时机器学习研究] 纯粹自集成（我实际上发现了一些东西） - 第一部分

这段文字主要讲述了作者在制作一个关于将研究想法付诸实践的视频时，意外地取得了成功，并决定将这个尚未完成的研究项目公开分享。作者认为，研究领域应该更加透明和开放，就像开源软件开发一样，鼓励合作和交流。

视频的目的是展示如何快速将一个研究想法付诸实践，并以作者自己的研究项目为例，详细介绍了从想法产生到代码实现的过程。作者希望通过这种方式，鼓励更多人参与到研究中，并推动研究领域的开放和合作。

具体来说，作者提到了以下几点：

• 作者的视频是应观众要求制作的，旨在展示如何将研究想法付诸实践。
• 虽然作者没有对这个研究想法抱有太高的期望，但希望通过这个视频展示一个研究项目的快速启动过程。
• 作者以SimClear v2为例，探讨了自监督学习和半监督学习在监督学习中的应用，并提出了一种新的研究思路。
• 作者决定将这个尚未完成的研究项目公开分享，旨在促进研究领域的开放和合作。
• 作者希望通过这个视频鼓励更多人参与到研究中，并推动研究领域的进步。

总而言之，这段文字介绍了作者制作的关于将研究想法付诸实践的视频，并强调了开放和合作在研究领域的重要性。作者希望通过视频和公开分享研究项目，推动研究领域的进步。

我分享了从头开始实施一项研究想法的进展。我尝试用无标签自蒸馏的学生构建一个集成模型，不使用任何额外的​​数据或增强。结果表明，它确实有效，有趣的是，我使用的学生越多，准确性就越高。这导致了一个假设，即集成效应不是从标签中提取更多信息的​​过程。大纲：0:00 - 简介2:10 - 研究想法4:15 - 调整代码库25:00 - 教师和学生模型52:30 - 部署到服务器1:03:40 - 结果1:14:50 - 结论代码：https://github.com/yk/PyTorch_CIFAR10参考资料：我的 SimCLRv2 视频：https://youtu.be/2lkUNDZld-4重生神经网络：https://arxiv.org/abs/1805.04770深度集成：从损失景观的角度：https://arxiv.org/abs/1912.02757