2024.1.07 机器学习周报-CSDN博客

本文链接：https://blog.csdn.net/lijiaweitt/article/details/135441096

引言

引言

本周阅读了一篇关于Resnet的文献，文章讨论了在视觉识别任务中训练深度神经网络的困难，并提出了一种残差学习框架来简化这些网络的训练。该框架通过将层次结构重新定义为参考层输入的残差函数来学习，而不是学习无参考函数。该框架通过具有“快捷连接”的前馈神经网络实现，这些连接可以进行恒等映射，而不会增加额外的参数或计算复杂性。并且提供了实证证据表明，这些残差网络更容易优化，并且可以通过增加深度来提高准确性。

Abstract

This week, I read a literature on Resnet, which discussed the difficulties of training deep neural networks in visual recognition tasks and proposed a residual learning framework to simplify the training of these networks. This framework learns by redefining the hierarchical structure as the residual function of the reference layer input, rather than learning without a reference function. This framework is implemented through feedforward neural networks with "fast connections" that can perform identity mapping without adding additional parameters or computational complexity. And empirical evidence is provided to suggest that these residual networks are easier to optimize and can improve accuracy by increasing depth.

文献阅读

1、题目

Deep Residual Learning for Image Recognition

2、引言

更深的神经网络更难训练。我们提出一个剩余学习框架，以简化培训比所使用的网络深度高得多的网络先前我们明确地将层重新表述为参考层输入的学习残差函数，而不是学习未引用的函数。我们提供了全面的经验证据，表明这些残差网络更容易优化，并且可以从深度显著增加。在ImageNet数据集上，我们评估深度高达152层的残余网——8×比VGG网更深，但仍然具有较低的复性。这些残差网络的集合实现了3.57