NTK：neural tangent kernel 神经切线核

已于 2025-03-23 13:52:04 修改
阅读量843 收藏 27
点赞数 9
分类专栏： 论文阅读 文章标签： 深度学习 人工智能
于 2025-03-19 20:59:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62673638/article/details/146380181
版权

  在读“Predicting Out-of-Distribution Error with the Projection Norm”这篇论文的时候发现的这个，还是挺难的，大概学了一下，主要是看了一个国外的老师讲解的，才看懂。

  

Content：

核函数

高斯过程

神经网络的线性化

NTK神经切线核

一．核函数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
无限宽度神经网络的神经正切核（Neural Tangent Kernel, NTK）
搏博的专栏
02-25 285
在梯度流中，参数更新被视为一个连续的过程，而不是离散的步长，及梯度下降的连续时间近似，也就是梯度流（Gradient Flow）的概念。是一个m×n的矩阵。这里的梯度向量是关于所有参数的梯度，所以每个梯度向量都是一个高维向量，假设参数有N个，那么梯度向量就是N维的。对应的梯度外积较大时，说明它们的参数更新方向相似，因此在训练过程中这两个样本对参数的影响有较强的相关性。根据NTK理论，在无限宽度下，参数的梯度在初始化时的分布是确定的，并且在训练过程中变化不大，因此可以近似为固定的NTK矩阵。
Neurlps2024论文解析|A generalized neural tangent kernel for surrogate gradient learning-water-merged
haimianxiaobao11的博客
02-17 864
本文提出了一种广义神经切线核（NTK），称为代理梯度NTK，旨在为代理梯度学习（SGL）提供理论基础。传统的神经网络训练方法依赖于网络函数的梯度，但对于某些激活函数（如二元和脉冲神经网络）而言，导数并不明确，导致无法应用标准的梯度下降方法。为了解决这一问题，SGL通过用代理导数替代激活函数的导数，使得这些网络能够进行有效的训练。本文首先探讨了NTK在具有跳跃激活函数的情况下的简单扩展，指出在无限宽度极限下，梯度下降的定义存在问题。
【深度学习】神经正切核(NTK)理论
bqw的博客
01-02 1995
​ 本文来自于《Theory of Deep Learning》，主要是对神经正切核(NTK)理论进行介绍。这里主要是补充了一些基本概念以及部分推导过程。作为软件工程出身，数学不是特别好，有些基础知识和推导步骤没办法一次补足。若有机会，后续会逐步补全缺失的部分。​ 设X1,…,XnX_1,\dots,X_nX1​,…,Xn​为nnn个独立的随机变量，且XiX_iXi​的边界为[ai,bi][a_i,b_i][ai​,bi​]。令Xˉ=1n∑i=1nXi\bar{X}=\frac{1}{n}\sum_{i=1
Neural Tangent Kernel (NTK) 简要介绍
Harvery_的博客
05-01 3014
核岭回归（Kernel Ridge Regression, KRR）是一种结合了岭回归（Ridge Regression）和核技术的回归分析方法。它用于解决回归问题，特别适用于处理高维数据或数据点具有非线性关系的情况。
Neural Tangent Kernel
apache的专栏
04-16 468
EPFL，Neural Tangent Kernel:Convergence and Generalization in Neural Networkshttps://arxiv.org/abs/1806.07572 Key trends from NeurIPS 2019https://huyenchip.com/2019/12/18/key-trends-neurips-2019.html【中】https://blog.csdn.net/tmb8z9vdm66wh68vx1/article/detai
直观理解Neural Tangent Kernel
Jie Qiao的专栏
12-27 5513
直观理解Neural Tangent Kernel 本文是文章Some Intuition on the Neural Tangent Kernel的翻译整理. 一句话总结：NTK衡量的是，在使用SGD优化参数下，其对应的随机到样本x′\displaystyle x'x′，在参数更新非常一小步η\displaystyle \etaη后，f(x)\displaystyle f( x)f(x)的变化。也就是： k(x,x′)=lim⁡η→0f(x,θ+ηdfθ(x′)dθ)−f(x,θ)η k(x,x')=
Notes on Neural Tangent Kernel: Convergence and Generalization in Neural Networks
qq_40869346的博客
02-29 1041
If you have any questions, plz contact luweihao@126.com
Neural Tangent Kernel 理解（一）原论文解读
bagba的知识分享库
12-29 3594
Neural Tangent Kenerl 理解（一）原论文解读
2019-Graph Neural Tangent Kernel, Fusing Graph Neural Networks w
08-08
本文提出了一种新的图核——图神经切线核（Graph Neural Tangent Kernel, GNTK），它旨在结合GNNs的优势和图核的优点。GNNs通过多层结构和非线性激活函数捕获图的高阶特性，但训练过程可能困难。相反，图核在理论上...
具有性能保证的神经主动学习_Neural Active Learning with Performance Guarantees
01-22
研究者利用最近提出的神经切线核（Neural Tangent Kernel, NTK）近似工具来构建一个合适的神经嵌入，该嵌入确定了算法操作的特征空间和基于此学习的模型。 NTK是分析深度神经网络在训练过程中行为的一种方法，它...
超宽深度网络和神经正切核 Ultra-Wide Deep Nets and Neural Tangent Kernel (NTK)
ddzr972435946的博客
10-05 4683
(也发布在at CMU ML.) 作者：Wei Hu and Simon Du 机器学习的传统观点认为，在训练误差和泛化差距之间要进行谨慎的权衡。模型的复杂性存在一个“最佳点”，因此模型（i）足够大，可以实现合理良好的训练误差，而模型（ii）足够小，可以泛化差距-测试误差和训练误差之间的差-可以控制。较小的模型会产生较大的训练误差，而使模型变大则会导致较大的泛化差距，两者都会导致较大的测试误...
笔记《Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels》-NeurIPS 2019
热门推荐
yyy的技术日常
06-26 1万+
1 读《Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels》-NeurIPS 2019 GNN的优势：1. 图神经网络使用多层结构和非线性激活函数来提取图的高阶信息作为特征。 GNN的缺点：1.训练过程中存在大量的超参数，且训练过程具有非凸性，使得 GNN 的训练更加困难。2.GNN 的表达能力随参数的数量而变化，在计算资源有限的情况下，很难充分利用 GNN 的表达能力。 GKs的优势：1. GKs继承了内
今天来聊一聊神经正切核的特征向量
xiehewe的博客
09-04 253
其中之一便是神经正切核（Neural Tangent Kernel，NTK），它的特征向量为我们揭示了这一神奇数学魔法的奥秘。核方法是一种在机器学习中广泛使用的技术，它通过在高维特征空间中计算样本之间的相似度，从而实现对复杂关系的建模。这种核的魔力在于，它使得神经网络的行为变得可预测，为我们理解神经网络为什么能在实际任务中如此成功提供了新的视角。通过核方法，我们能够更好地理解神经网络的训练过程、行为特点以及在各种任务中的表现。神经正切核的特征向量是一种数学构造，它为我们提供了一种理解神经网络的方式。
【泛化误差论文必看】
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
07-14 1097
参考人工智能前沿讲习的泛化误差专题 1、背景 训练集往往只是数据总体的一部分，无法包含所有可能的情况，训练出的学习算法在训练集和非训练集上的表现会是不一样的，我们使用泛化误差来度量这一差距，这也是机器学习理论最重要的问题之一。 2、论文必读 2.1、3篇领域经典 1）Understanding Deep Learning Requires Rethinking Generalization. (ICLR 2017) ICLR 2017的最佳会议论文。作者通过一些很有意思的实验（比如ra..
收集一下核函数-Kernel Function
__Career Path ... __In Meredith Life
07-27 4076
本文转载自： 收集一下核函数-Kernel Function | 丕子 原文地址：http://www.shamoxia.com/html/y2010/2292.html转载请声明出处，O(∩_∩)O谢谢~Kernel FunctionsBelow is a list of so
神经网络可解释性、深度学习新方法， 2020 年有哪些势不可挡的研究趋势？
数据派THU
01-05 1740
来源：AI科技评论本文约7000字，建议阅读10+分钟从AI科技顶会看2020年该研究什么。作为 2019 年最后一场重量级的人工智能国际学术顶会，NeurIPS 2019 所反映出的一...
在深度学习中，什么是线性插值（linear interpolation）？
最新发布
weixin_44649780的博客
04-30 466
线性插值是寻找两个点之间中间值的最基础方法之一，广泛应用于：数值计算计算机图形学机器学习和深度学习它的标准公式是：x0,x1∈Rn：两个向量或标量t∈[0,1]：插值系数（0 表示完全靠近 x0，1 表示完全靠近 x1​）它对应的是两个点之间的一条线段轨迹。线性插值就是“在两个已知点之间，按一定比例找到中间点”的方法，无论是图像、特征、模型参数，它都可以用来“平滑地过渡”。📢 想要了解更多内容，可在VX小程序搜索🔍AI Pulse,获取更多最新内容。
远程深度学习新环境配置流程
weixin_45668967的博客
04-30 309
下载并安装适合你系统的 Miniconda 版本。
Neural tangent kernel是什么？（解释通俗一点
06-02
神经切向核（Neural Tangent Kernel，NTK）是一种用于分析神经网络行为的数学工具。它基于一个假设，即在一个很小的初始化范围内，神经网络的行为是线性的，因此可以用线性模型来近似。NTK 允许我们在训练过程中分析权重和梯度的演化，以及预测模型的性能。通俗地说，NTK 是一种模型简化技术，可以帮助我们更好地理解神经网络的行为和性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值