深度学习杂谈-最早的深度学习-新认知机-Yann LeCun的标准反向传播算法-SVM

福岛邦彦是著名的日本神经科学家，他在人工神经网络和机器学习领域做出了重要贡献。他提出了一种重要的神经网络模型，被称为"新认知机"（Neocognitron）。

新认知机是一种多层卷积神经网络（CNN）的早期形式，最早于1980年代提出。这个模型的主要目标是模拟人类视觉系统的工作原理，并用于图像识别和模式识别任务。以下是新认知机的一些关键特点和概念：

1. **多层结构**：新认知机包含多个层次的神经元层，其中包括输入层、特征提取层和分类层。这种多层结构使得模型能够逐渐提取图像中的抽象特征。

2. **局部连接**：新认知机的特征提取层使用局部连接性，这意味着每个神经元只与输入层的局部区域连接，而不是与整个输入层连接。这有助于模拟视觉皮层中神经元的感受野。

3. **权值共享**：在特征提取层，同一层中的多个神经元共享相同的权值（卷积核）。这个概念被用于检测图像中的特定特征，例如边缘或纹理。

4. **子野抑制**：新认知机引入了一种叫做"子野抑制"的概念，其中神经元之间的竞争性抑制有助于选择对输入敏感的最具代表性的神经元。

5. **池化操作**：模型中还包括池化操作，它有助于减小特征图的空间尺寸，同时保留重要特征。

新认知机的提出对于后来的深度学习和卷积神经网络的发展产生了深远的影响。它为图像处理、模式识别和计算机视觉等领域的研究奠定了基础，促进了深度学习的发展，并启发了许多后续模型的设计。虽然新认知机的具体架构在后来的研究中有所改进和扩展，但它仍然代表了神经网络和机器学习领域的重要里程碑之一。

标准反向传播算法（Backpropagation，或称反向传播）是一种用于训练神经网络的监督学