深度学习训练技巧：Batch and Momentum
（这篇博客作者写得很通俗易懂）
优化算法之Gradient descent with momentum
清华南开发布attention 7年全回顾：注意力机制还有7大问题要研究！
受到人类注意力的启发，将注意力机制引入计算机视觉模型后可以模拟人类视觉系统，能够将输入图像特征的权重进行动态调整。
将模型的注意力转移到图像中最重要的区域，并且忽视无关部分的方法称为注意力机制。人类的视觉系统使用注意力来帮助高效、有效地分析和理解复杂场景，这反过来又激励了研究人员将注意力机制引入计算机视觉系统，以提高模型的性能。
在视觉系统中，注意力机制可以被视为一个动态的选择过程，根据输入图像的重要性，通过自适应加权来实现。
（这篇文章评价和展望都不错）
精度超越Transformer，MIT、港大提出基于物理模型的Neuro-Symbolic视觉推理框架
动态视觉推理（Dynamic Visual Reasoning），尤其是涉及到物体间物理关系的推理，是计算机视觉中一个重要且困难的问题。给定一个观测视频，它不仅要求模型根据视频推理出视频中物体的交互过程，还要求对视频的长期未来（Long-term）以及反事实（Counterfactual）情形进行预测，而这两项预测恰好是现有神经网络模型的弱点。
现有方法可以大致被分为两类：使用端到端神经网络（如 Vision Transformer）来对物体间关系进行建模的方法 [3]，和基于神经符号（Neuro-Symbolic）的推理模型 [2, 4]；前者受益于 Transformer 等的强大表征有着不错的性能，但是其依赖大量数据，且推理过程不透明且难以解释；而后者基于神经符号逐步进行推理，模型具有良好的解释性，但是精度受限；此外，现有方案都难以解决长期和反事实预测的难题。
（这篇文章有待比较）
pytorch
torch.nn包定义了编写神经网络的必需组件，使用这个包下面的组件PyTorch会自动求梯度，这个就方便非常多，这也是各大NN框架的基本功能之一。需要牢固掌握的组件见下图。
(这篇文章满满的干货)
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
（太难了）
深度学习的可解释性 XAI-4-Attribution to model parameters
即将研二了，请问从头开始学习深度学习与推荐系统，还来得及吗？
06 正则化
正则化是解决高方差或模型过拟合的主要手段，过去数年，研究者提出和开发了多种适合机器学习算法的正则化方法，如数据增强、L2 正则化（权重衰减）、L1 正则化、Dropout、Drop Connect、随机池化和提前终止等。
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
为什么 Bert 的三个 Embedding 可以进行相加？
对人工智能有着一定憧憬的计算机专业学生可以阅读什么材料或书籍真正开始入门人工智能的思路和研究？
如何理解 Graph Convolutional Network（GCN）？
New Bing：微软首款Chat GPT搜索，详细的申请教程来了！
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
