深度学习第一周

姓名和学号	XX，xxxxxx
本实验所属课程	中国海洋大学24夏《深度学习》
学习内容	深度学习基础
博客网站

一、学习目标

1. 了解深度学习的发展历史

2. 学习神经网络的基本结构

3. 学习pytorch的基础操作和使用神经网络实现简单的数据分类

二、学习内容

2.1视频学习

2.1.1绪论

• 从专家系统到机器学习

• 从传统机器学习到深度学习

• 深度学习的能与不能

2.1.2 深度学习概述

• 浅层神经⽹络：⽣物神经元到单层感知器，多层感知器，反向传播和梯度消失

• 神经⽹络到深度学习：逐层预训练，⾃编码器和受限玻尔兹曼机

1. 在⾕歌 Colab 上完成pytorch 基础练习和螺旋数据分类

2.2代码练习

2.2.1 pytorch 基础练习

基础练习部分包括 pytorch 基础操作，实验指导链接

要求： 把代码输⼊ colab，在线运⾏观察效果。

2.2 螺旋数据分类

⽤神经⽹络实现简单数据分类，实验指导链接

要求： 把代码输⼊ colab，在线运⾏观察效果

三、程序运行结果

3.1 pytorch基础练习

3.1.1定义数据

3.1.2定于操作

3.2 螺旋数据分类

四、问题总结与体会

4.1 AlexNet有哪些特点？为什么可以⽐LeNet取得更好的性能？

AlexNet由Geoffrey和他的学生Alex提出，并在2012年的ILSVRC竞赛中获得了第一名。Alexnet共有8层结构，前5层为卷积层，后三层为全连接层，AlexNet网络结构具有如下特点：

• AlexNet在激活函数上选取了非线性非饱和的relu函数，在训练阶段梯度衰减快慢方面，relu函数比传统神经网络所选取的非线性饱和函数（如sigmoid函数，tanh函数）要快许多。

• AlexNet在双gpu上运行，每个gpu负责一半网络的运算。

• 采用局部响应归一化（LRN）。对于非饱和函数relu来说，不需要对其输入进行标准化，但Alex等人发现，在relu层加入LRN，可形成某种形式的横向抑制，从而提高网络的泛华能力。

• 池化方式采用overlapping pooling。即池化窗口的大小大于步长，使得每次池化都有重叠的部分。（ps:这种重叠的池化方式比传统无重叠的池化方式有着更好的效果，且可以避免过拟合现象的发生）

AlexNet比LeNet性能更好的原因：

• AlexNet的网络深度相比于LeNet更深能够捕捉更复杂的特征。

• AlexNet 使用了更大的卷积核（11x11），这有助于提取更高层次的特征，并通过较大的步幅减少特征图的尺寸，从而减少计算量和特征图维度。

• AlexNet使用了Relu激活函数，替换了LeNet的sigmoid，大大加快了收敛，减少了模型训练耗时。

• AlexNet 在训练过程中使用了数据增强和 dropout 技术，提高了模型的泛化能力并减少了过拟合。

• AlexNet 使用了 GPU 加速训练，这大大提高了训练速度和效率，使得网络可以训练更深的模型和处理更大的数据集。

• AlexNet 引入了局部响应归一化（LRN），帮助提升模型的性能和稳定性。

4.2 激活函数有哪些作⽤？

• 为神经网络引入非线性意义：激活函数可以把卷积层输出结果做非线性映射，线性函数即使经过多层网络的叠加依然是线性的，再引入了激活层后增加网络深度才有意义。

• 模拟人类神经元的传递规则：人类神经元的传递规则中，某一神经元只有受到特定刺激才会传递相应的信号。如果假设，各层之间输出越接近1代表该神经元越兴奋，越接近0代表该神经元越不活跃，那么激活函数的功能就像是控制神经元活跃的控制阀。

• 限制每层的输出值范围：激活函数的输入是W * x + b，其中W是单元的权重(Weight)，x是输入，然后在其上加上b偏差(Bias)。 如果不限制在某个值上，则此值的幅度可能会非常高，尤其是在具有数百万个参数的非常深的神经网络的情况下。，这将导致计算问题。激活函数可以把输出值限定在某一范围内。

4.3 梯度消失现象是什么？

梯度消失现象是在训练深度神经网络时常遇到的一种问题，主要表现为在反向传播过程中，梯度的值逐渐变小，甚至接近于零。梯度消失使得网络的权重更新变得非常缓慢，导致模型训练困难，性能受到限制。

4.4 神经网络是更宽好还是更深好？

更宽的网络：

1. 优点：

   • 宽网络拥有更多的通道或神经元，可以在同一层中捕捉更多的特征。这使得网络能够在每一层中捕捉到更丰富的特征信息

   • 宽网络通常容易训练，因为每一层都有更多的特征表示，从而可能需要更少的层数来捕捉复杂特征。

   • 由于每层有更多的通道，梯度在反向传播时不容易消失，有助于稳定训练过程。

2. 缺点：

   • 宽网络通常需要更多的参数，这可能导致计算开销增加和内存需求增大。

   • 虽然宽网络能捕捉更多特征，但可能不如深网络在捕捉更复杂的层次特征方面有效。

更深网络：

1. 优点：

   • 深网络能够通过逐层抽象提取特征，从低级特征到高级特征，使得模型能够学习到更加复杂的特征和模式。

   • 深层结构允许网络在更高层次上组合和变换特征，从而提高模型的表现力和泛化能力。

2. 缺点：

   • 随着网络深度的增加，梯度消失或爆炸的问题可能会更加严重，影响训练的稳定性和效率。

   • 深网络可能需要更长的训练时间，且训练过程中的调参和优化变得更加复杂。

综上所述：如需要在特定层捕捉大量特征的情况，宽网络可能更适合，而对于需要层次特征提取的复杂任务，深网络可能更有效。因此，没有一种通用的答案来决定“更宽”还是“更深”更好，而是需要根据具体情况采用最佳的网络设计

4.5 为什么要使用Softmax?

Softmax函数在神经网络中主要用于多类别分类任务，它的主要作用是将网络的输出转换为一个概率分布，通过Softmax，网络可以输出每个类别的概率，最可能的类别就是具有最高概率的类别。

4.6 SGD 和 Adam 哪个更有效？

Adam算法更适用于大多数现代神经网络训练，特别是面对复杂任务和大量数据。Adam结合了动量方法和自适应学习率方法，通过计算梯度的一阶矩（动量）和二阶矩（梯度的平方）来调整每个参数的学习率，从而加速收敛。