深度学习杂谈-最早的深度学习-新认知机-Yann LeCun的标准反向传播算法-SVM

福岛邦彦是著名的日本神经科学家，他在人工神经网络和机器学习领域做出了重要贡献。他提出了一种重要的神经网络模型，被称为"新认知机"（Neocognitron）。

新认知机是一种多层卷积神经网络（CNN）的早期形式，最早于1980年代提出。这个模型的主要目标是模拟人类视觉系统的工作原理，并用于图像识别和模式识别任务。以下是新认知机的一些关键特点和概念：

1. **多层结构**：新认知机包含多个层次的神经元层，其中包括输入层、特征提取层和分类层。这种多层结构使得模型能够逐渐提取图像中的抽象特征。

2. **局部连接**：新认知机的特征提取层使用局部连接性，这意味着每个神经元只与输入层的局部区域连接，而不是与整个输入层连接。这有助于模拟视觉皮层中神经元的感受野。

3. **权值共享**：在特征提取层，同一层中的多个神经元共享相同的权值（卷积核）。这个概念被用于检测图像中的特定特征，例如边缘或纹理。

4. **子野抑制**：新认知机引入了一种叫做"子野抑制"的概念，其中神经元之间的竞争性抑制有助于选择对输入敏感的最具代表性的神经元。

5. **池化操作**：模型中还包括池化操作，它有助于减小特征图的空间尺寸，同时保留重要特征。

新认知机的提出对于后来的深度学习和卷积神经网络的发展产生了深远的影响。它为图像处理、模式识别和计算机视觉等领域的研究奠定了基础，促进了深度学习的发展，并启发了许多后续模型的设计。虽然新认知机的具体架构在后来的研究中有所改进和扩展，但它仍然代表了神经网络和机器学习领域的重要里程碑之一。

标准反向传播算法（Backpropagation，或称反向传播）是一种用于训练神经网络的监督学习算法。它用于计算神经网络的权重和偏差的梯度，以便通过梯度下降或其他优化算法来最小化损失函数。以下是标准反向传播算法的基本原理和步骤：

**1. 前向传播（Forward Propagation）**：
   - 首先，将输入数据传递给神经网络的输入层。
   - 通过逐层计算，将数据传递到网络的输出层，同时记录每个神经元的激活值（输出）。

**2. 计算损失（Compute Loss）**：
   - 使用网络的输出和真实标签（目标值）来计算损失函数，通常使用均方误差（Mean Squared Error）或交叉熵（Cross-Entropy）等损失函数。

**3. 反向传播误差（Backpropagate Error）**：
   - 从输出层开始，计算损失对于每个权重和偏差的梯度。这是通过使用链式法则计算每个层的梯度来实现的。
   - 将梯度从输出层向输入层传播。这个过程将误差梯度逐层传播回网络的每个层。

**4. 更新权重和偏差（Update Weights and Biases）**：
   - 一旦计算了梯度，可以使用梯度下降或其他优化算法来更新网络的权重和偏差。
   - 更新规则通常是按照梯度的反方向来更新参数，以使损失函数最小化。

**5. 重复迭代**：
   - 重复执行前向传播、计算损失、反向传播和权重更新的步骤，直到达到预定的训练迭代次数或满足收敛条件为止。

**6. 预测和评估**：
   - 训练完成后，可以使用训练好的神经网络进行预测和分类任务。
   - 还可以使用测试数据集来评估模型的性能。

标准反向传播算法是神经网络训练的核心方法之一，它使神经网络能够学习从输入数据到输出标签之间的复杂映射关系。然而，需要注意的是，反向传播算法可能会受到梯度消失或梯度爆炸等问题的影响，因此在实际应用中，可能需要使用各种技巧和改进的变种来提高训练的稳定性和效率。

支持向量机（Support Vector Machine，SVM）是一种强大的监督学习算法，主要用于分类和回归问题。它的目标是找到一个决策边界（或超平面），该边界最大化了类别之间的间隔，并且对新数据点的泛化能力较强。以下是支持向量机的关键特点和原理：

**1. 二元分类器**：
   - SVM 主要用于二元分类问题，即将数据分为两个不同的类别。但它可以通过一些技巧扩展到多类分类问题。

**2. 最大间隔**：
   - SVM 的目标是找到一个决策边界（超平面），该边界在训练数据中具有最大的间隔，即使得最靠近边界的数据点（支持向量）离边界最远。

**3. 支持向量**：
   - 支持向量是离决策边界最近的训练数据点。它们对于定义边界和分类决策非常重要。

**4. 核函数**：
   - SVM 可以使用核函数来处理非线性分类问题。常见的核函数包括线性核、多项式核、径向基函数（RBF）核等。核函数允许 SVM 在高维特征空间中执行非线性分类。

**5. 软间隔分类**：
   - 在某些情况下，训练数据可能不是线性可分的。SVM 引入了软间隔分类，允许一些数据点位于错误的一侧，以处理噪声或复杂数据集。

**6. C 参数**：
   - SVM 中的 C 参数控制了软间隔分类的权重。较小的 C 值允许更多的分类错误，而较大的 C 值会更强调分类正确性，但可能导致过拟合。

**7. 回归问题**：
   - SVM 也可以用于回归问题，称为支持向量回归（Support Vector Regression，SVR）。它寻找一个回归函数，以最大程度地减小预测误差，同时保持边界内的数据点。

**8. 应用领域**：
   - SVM 在图像分类、文本分类、生物信息学、金融预测、人脸识别等多个领域中广泛应用。

**9. 解决高维问题**：
   - SVM 对高维数据集的处理效果较好，因此常用于计算机视觉和自然语言处理等领域，其中特征维度较高。

支持向量机是一种强大的机器学习算法，特别适用于处理复杂数据集和解决高维问题。它的训练和预测速度通常较快，并且在很多应用中表现出色。但需要注意的是，选择合适的核函数和调整参数对于 SVM 的性能至关重要，通常需要进行调参以获得最佳结果。