实变函数与泛函数分析
文章平均质量分 80
佟学强
联结主义学派和统计学派融合的研究者
展开
-
实变函数与泛函数分析学习笔记(二):赋范线性空间
导语:现代数学入门的钥匙就是实变函数与泛函数分析。数学,物理学,计算机学科,神经生物学相互交叉构成了AI的基础。深入研究AI,尤其是神经规则推理以及下一代AI技术,必须修炼好内功。非数学专业的学生,可能学过傅立叶变换,方向导数与梯度这些。但是对这些概念的理解还需要继续深入,除了泛函数分析,与此相关的还有凸优化,矩阵论,这些都是必修的内功。关于数据结构,要达到能够独立设计优秀的数据结构的程度,不仅限...原创 2018-09-26 12:08:06 · 3239 阅读 · 0 评论 -
实变函数与泛函数分析学习笔记(三):有界线性算子
导语:现代数学入门的钥匙就是实变函数与泛函数分析。数学,物理学,计算机学科,神经生物学相互交叉构成了AI的基础。深入研究AI,尤其是神经规则推理以及下一代AI技术,必须修炼好内功。非数学专业的学生,可能学过傅立叶变换,方向导数与梯度这些。但是对这些概念的理解还需要继续深入,除了泛函数分析,与此相关的还有凸优化,矩阵论,这些都是必修的内功。关于数据结构,要达到能够独立设计优秀的数据结构的程度,不仅限...原创 2018-09-26 12:24:47 · 7650 阅读 · 0 评论 -
傅立叶变换最详细的解读
谈到傅立叶变换,必然离不开基本的无穷级数。无穷级数是高等数学的一个重要组成部分,它是表示函数,研究函数性质的以及进行数值计算的一种工具,本文先讨论常数项级数,接着讨论函数的幂级数,然后讨论函数的三角幂级数分解,最后到傅立叶级数然后到傅立叶变换。在介绍傅立叶变换时,会结合数学和物理,自然常识,尽量做到深入浅出。本文将按照以下篇幅进行论述:一、常数项级数以及幂级数二、函数的幂级数展开三...原创 2018-10-20 21:55:08 · 36806 阅读 · 4 评论 -
导数与黎曼积分
黎曼积分是逐项可积的,对于逐项不可积的函数黎曼积分无能为力,需要Lebsgue积分。本篇先从最基本的导数开始,然后到微分,最后到黎曼积分,下一篇讲述Lebsgue积分和实变函数的积分,后面再讲度量空间,泛函数与线性算子,最后到希尔伯特空间的几何算子。另外还增加《凸优化》的部分。本篇文章重点关注的是数学思想,而不是现有结论的重复论述。数学证明最能反映一个人的数学思维,而不是解题。当年牛顿被苹果砸...原创 2018-10-21 17:19:07 · 3376 阅读 · 1 评论 -
探寻《矩阵论》与AI的结合
前言:矩阵论是对线性代数的延伸,很有必要深入研究。矩阵与泛函数分析和凸优化存在着密不可分的关系,尤其是内积空间部分。研究矩阵论可以加深对PCA,SVD,矩阵分解的理解,尤其是第一章入门的线性空间的理解,在知识图谱向量化,self_attention等论文中会涉及大量的矩阵论的知识。本系列博客对此做一个学习心得总结,省略掉矩阵的微分方程等运算部分,重点论述和AI相关尤其是与结构化约束和无向图推理相关...原创 2018-06-07 23:24:34 · 17031 阅读 · 6 评论 -
实变函数与泛函数分析笔记(一):Lebesgue积分
导语:内积空间中的内积可以定义范数,反之,范数不一定非要内积来定义,所以说赋范线性空间是比内积空间更广泛的概念。距离可以用范数定义,反之,只有距离满足平移不变和齐次性才能定义一个范数,因此度量空间比赋范线性空间广泛。Banach空间是完备的赋范线性空间。Hilbert空间是完备的内积空间。所以Hilbert空间是Banach空间的特例,Banach空间是完备距离空间的特例。在数学里,尤其是在泛函分...原创 2018-10-21 17:38:40 · 4364 阅读 · 0 评论 -
凸优化中几个比较重要的推断
1.泛函数的几何意义2.共轭函数的几何意义3.凸函数的局部最优解就是全局最优解4.最优解的判断准则证明5.无约束二次规划解讨论6.分离超平面定理...原创 2019-03-19 15:58:35 · 521 阅读 · 0 评论 -
从数学角度探究梯度下降算法的本质
以数据驱动的AI,根本任务有两个:①建立系统的评价准则或者规则;②寻找最优的归纳偏置。找到最优的归纳偏置关键在于参数的优化算法。目前机器学习的参数优化算法集中在遗传算法,模拟退火,SGD等。1996年非常具有代表性的论文lasso在损失函数的多准则构建上做出了杰出贡献。这篇论文属于基础学科研究领域,对后来的AI理论发展起到了非常大的推进作用。在众多的AI公开课中,很少有从数学角度深入研究这个课题的...原创 2019-06-19 22:15:43 · 1202 阅读 · 0 评论