Neural Tangent Kernel (NTK) 简要介绍

NTK的基本概念及贡献:

定义

神经正切核（NTK，Neural Tangent Kernel）是深度学习领域的一个重要概念，它帮助我们理解和分析神经网络在训练期间的行为。NTK主要用于分析无限宽度的神经网络的极限行为，在这种极限下，网络的学习动态可以用一个核方法来描述。

NTK是在神经网络的参数空间中定义的一个核函数，它描述了网络输出关于其参数的梯度的内积。具体来说，当网络的宽度趋向于无限大时，这个核函数会趋于固定，不再随着训练过程中的参数更新而改变。这种性质使得无限宽度的神经网络在训练初期可以被视为一个线性模型，其行为类似于使用NTK作为核的核岭回归。

通过使用NTK，可以分析网络的优化和泛化性能，以及不同架构的学习速度和复杂性。

神经正切核（NTK）在梯度下降方面的贡献

1. 线性化训练动态：当神经网络的宽度趋近于无限大时，NTK理论表明网络的行为可以近似为线性模型。这是因为在这种极限下，网络的输出关于参数的梯度（Jacobian）将会固定，不再随着参数的变化而变化。因此，网络的训练过程可以用线性模型来描述，这个线性模型由NTK定义。这样，即使是非线性的深度网络也可以通过线性化的方式来分析其学习动态。

2. 简化优化分析：通过使用NTK，可以将复杂的优化问题简化。例如，在标准的梯度下降中，非线性网络的优化轨迹可能非常难以分析。但是，如果网络足够宽，NTK提供的线性化视角使得我们可以将问题简化为核岭回归问题。这使得理论上可以更容易地分析学习率、收敛速度和其他优化参数对训练结果的影响。

核岭回归 (Kernel Ridge Regression, KRR)

上面提到了一个核岭回归（KRR）的概念：

定义：

核岭回归（Kernel Ridge Regression, KRR）是一种结合了岭回归（Ridge Regression）和核技术的回归分析方法。它用于解决回归问题，特别适用于处理高维数据或数据点具有非线性关系的情况。

核心概念：

核岭回归主要通过以下两个核心概念实现其功能：

1. 岭回归（Ridge Regression）：
        岭回归是一种改进的最小二乘估计法。在标准的线性回归中，模型参数的估计是通过最小化残差平方和来实现的。然而，在参数众多或数据点少于变量时，这种方法可能导致过拟合，即模型在训练数据上表现很好，但在新数据上表现不佳。岭回归通过在优化目标中添加一个正则化项（即参数的L2范数）来解决这个问题，这有助于减少模型复杂度并提高其泛化能力。

2. 核方法（Kernel Method）：
        核方法是一种技术，它能够使算法在高维空间中运行，而无需显式地构造这个空间，通过所谓的“核技巧”实现。核函数可以理解为一个衡量数据点之间相似性的函数，它将数据映射到一个高维特征空间，在这个空间中，原本线性不可分的数据可能变得线性可分。常用的核函数包括线性核、多项式核、径向基（RBF）核等。

核岭回归的工作机制：
        在核岭回归中，首先使用一个核函数将输入数据映射到一个高维特征空间。在这个高维空间中，模型尝试找到一个线性关系来拟合数据。这个拟合过程中也包括L2范数正则化，以控制模型复杂度并防止过拟合。核岭回归的目标函数可表示为：

其中，是将输入数据 通过核函数映射到高维空间后的表示， 是模型参数，是目标输出， 是正则化参数。