深度学习初步理解

1.深度学习是机器学习的一个子集，它使用多层神经网络来模拟人类大脑的工作方式，从而解决复杂的模式识别和数据分析问题。深度学习的关键技术包括卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GANs）、深度强化学习等。

2. 深度学习分类： 深度学习算法可以根据它们的结构和学习任务的不同进行分类：

有监督学习方法：

• 深度前馈网络（Deep Feedforward Networks）：这些网络通过前向传播信息，并使用反向传播算法来调整网络的权重。它们通常用于分类和回归任务。
• 卷积神经网络（Convolutional Neural Networks, CNNs）：特别适用于处理具有网格状拓扑结构的数据，如图像。
• 循环神经网络（Recurrent Neural Networks, RNNs）：适合处理序列数据，如时间序列分析和自然语言处理。

无监督学习方法：

• 深度信念网络（Deep Belief Networks, DBNs）：由多个受限玻尔兹曼机（RBMs）堆叠而成，可以用于特征学习或生成模型。
• 深度玻尔兹曼机（Deep Boltzmann Machines, DBMs）：是玻尔兹曼机的扩展，可以学习数据的复杂概率分布。
• 深度自编码器（Deep Autoencoders）：由编码器和解码器组成，用于数据压缩和去噪。它们也可以用于生成新的数据样本。

除了上述方法，还有一些其他的深度学习架构，如：

• 生成对抗网络（Generative Adversarial Networks, GANs）：由生成器和判别器组成，用于生成新的数据样本。
• 深度残差网络（Deep Residual Networks, ResNets）：通过引入残差连接解决了深层网络训练中的退化问题。
• 长短时记忆网络（Long Short-Term Memory, LSTM）：是一种特殊的RNN，能够学习长期依赖信息。

 四、激活函数
1.什么是激活函数
激活函数(Activation functions)对于人工神经网络 模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你看加了若干层之后，无非还是个矩阵相乘罢了。

 1.损失函数定义
在机器学习任务中，大部分监督学习算法都会有一个目标函数(Objective Function),算法对该目标函数进行优化，称为优化算法的过程。例如在分类或者回归任务中，使用损失函数(Loss Function )作为其目标函数对算法模型进行优化。
在BP神经网络中，一般推导中，使用均方误差作为损失函数，而在实际中，常用交叉作为损失函数。如下图所示，我们可以清晰地观察到不同的损失函数在梯度下降过程中的收敛速度和性能都是不同的。
1.均方误差作为损失函数收敛速度慢，可能会陷入局部最优解,
2.而交叉熵作为损失函数的收敛速度比均方误差快，且较为容易找到函数最优解
因此了解损失函数的类型并掌握损失函数的使用技巧，有助于加深对深度学习的认知