第一周深度学习基础

第一部分 基础代码练习

pytorch基础练习

         这里发现张量v是long类型的不能与m进行 标量乘积，我这里将v的数据格式改成和m的数据类型一样就不报错了。

想法：编写pytorch不用专门去记忆每个函数的用法，可以在编写代码的时候哪里不知道的函数可以网上去搜索。

螺旋数据分类

        X的形状是(3000,2)可以认为是3000个点，X经过model之后变为y_pred形状为(3000,3),可以认为是3000个点，每个点属于某一类的概率，predicted代表3000个点每一个点属于的是哪一类。接下来计算predicted预测的哪一类是不是正确的得到acc准确率，接下来根据计算的损失优化模型参数。

想法：理解代码的含义，最好能知道每个变量的数据的形状，这样可以更好的理解代码的意思。

 第二部分 问题总结

1、AlexNet有哪些特点？为什么可以比LeNet取得更好的性能？

     相对于LeNet， AlexNet在激活函数上选取了非线性非饱和的relu函数，训练时随机dropout一部分神经元，避免网络过拟合。使用了重叠的最大池化，使用了LRN(Local Response Normalization)（网上看了看，好像说用处不大）。 AlexNet比LeNet有更深的网络结构以及使用了Relu和dropout来改进AlexNet网络的训练。

2、激活函数有哪些作用？

        激活函数引入非线性转换，使神经网络能够学习和表示复杂的非线性模式。

        激活函数的选择会影响梯度的传播和反向传播的稳定性。合适的激活函数可以帮助减轻梯度消失或梯度爆炸问题，并促进更有效的训练过程。

        某些激活函数具有固定的输出范围，可以将神经网络的输出限制在特定的范围内。例如，Sigmoid激活函数将输出限制在0到1之间，Tanh激活函数将输出限制在-1到1之间。

3、梯度消失现象是什么？

        梯度消失现象指的是在深层神经网络中，反向传播过程中梯度逐层递减至接近于零的现象。会导致网络训练的很慢甚至无法训练。

4、神经网络是更宽好还是更深好？

        神经网络的宽度是指每层的神经元数量，神经网络的深度是指神经网络的层数。

        对于较小的数据集和简单的任务，更宽的网络可能更适合，因为更宽的网络可以提供足够的表示能力，并且能够更好地拟合数据。

        对于较大的数据集和复杂的任务，更深的网络可能更适合，因为深层网络可以通过层层的特征提取和组合来学习更复杂的模式和抽象表示。

        网络结构应该多宽多深应该是根据具体任务来决定的。

5、为什么要使用Softmax?

        Softmax函数将神经网络的原始输出转换为概率分布，使得每个类别的输出可以解释为该类别的概率。Softmax函数将模型的输出进行归一化，确保输出在0到1之间，并且所有类别的概率总和为1。这使得输出可以被解释为类别之间的相对概率，便于比较和解释。使用Softmax函数作为激活函数，可以方便地计算损失函数对网络参数的梯度。梯度可以根据输出概率和真实标签之间的差异进行计算，从而进行模型的参数更新和优化。

6、SGD 和 Adam 哪个更有效？

        SGD随机梯度下降法，基本优化算法，每次更新参数时只考虑一个样本或一个小批量样本的梯度。

        Adam自适应矩估计,自适应调整学习率，可以在不同参数和梯度上自适应地进行调整，因此更容易收敛。具有较好的性能和收敛速度，在很多任务和数据集上表现良好。对于大规模数据集和复杂模型，Adam通常比SGD收敛更快。

        但Adam也不能完全取代SGD，比如ICLR 2018 匿名审稿中的 On the Convergence of Adam and Beyond，探讨了Adam算法的收敛性，通过反例证明了Adam在某些情况下可能会不收敛。 Improving Generalization Performance by Switching from Adam to SGD，进行了实验验证。他们在CIFAR-10数据集上进行测试，Adam的收敛速度比SGD要快，但最终收敛的结果并没有SGD好。他们进一步实验发现，主要是后期Adam的学习率太低，影响了有效的收敛。他们试着对Adam的学习率的下界进行控制，发现效果好了很多。

        所以不好说哪一个更有效，可以先使用Adam进行训练然后载用SGD进行更加细致的调优。