卷到纯数学：MyEncyclopedia号主亲历并总结了一份AI工程师的纯数学课程学习之路...

于 2022-11-01 12:00:22 发布
阅读量222 收藏
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwODI2NDkxNQ==&mid=2247506289&idx=4&sn=3238979b0fa52e3bbb5568ea4f51039d&chksm=970752cda070dbdbc8181343a17e37dabf050c75e7fabdaa9629bb7aacccfaa5eca6182bf04a&scene=126&&sessionid=0
版权

在入门机器人视觉和机器人运动后，开始逐步接触到了3D计算机视觉中的高阶数学概念，包括三维物体到二维图片的变换（术语称之为射影几何）；三维欧氏空间的物体运动坐标系变换，分为主动变换（active）和被动变换（passive）；另外在更高阶的计算机渲染中常会用到Mesh和黎曼曲面；此外，几何深度学习（Geometric Deep Learning）中也涉及到群论，李群等。这些迷之概念使得我对于本科高等数学课程（多元微积分，线性代数，概率论）后面的纯数学感到兴趣。本来一直觉得纯数学会非常难学，但是当我写了很多年代码和阅读了多个AI领域的众多论文之后，总有一些本质问题萦绕在心，得不到解释：

  • 代码抽象的极限在哪里？高阶纯函数编程？

  • 深度学习多个领域（CV，NLP，RL，GNN）是否有统一视角？目前深度学习的论文汗牛充栋，既有很多相似的pattern，也有每个领域的特性，是否有通用设计原则

第一个问题在范畴论（category theory）中广泛探讨，不过范畴论过于深奥，是抽象代数后的一门纯函数编程的理论基础。第二个问题在几何深度学习中被探讨。不过，这两个问题肯定不会被完全回答。即使无法得到最好的解释和回答，对于这些根本问题的探究的阶段性成功也是非常有意义的。正如理查德·费曼的名言：

I would rather have questions that can't be answered than answers that can't be questioned

为了让AI从业人员乃至程序员能进阶掌握高阶数学的武器，我斗胆总结一份从我这个非数学系的理工毕业生角度出发的自学纯数学指南。以下所有课程视频都已经搬运到了我的B站频道MyEncyclopedia公号中，此外，视频课程有对应教材的也一并列出。

在学习这些知识时候，发现之间的联系是非常广泛的，这个倒是非常出乎我意料，也让学习非常有成就感。以下总结了若干贯穿所有领域的重要概念。

  • 群的最一般概念和离散数学群

  • 群论体系下构建的抽象代数结构

  • 有限维向量空间的线性映射和基变换，并且此视角下的矩阵（线性代数）理解

  • 从基变换的角度理解傅里叶变换，即傅里叶变换是函数表示的特殊的基。

  • 有限维向量空间上定义了距离（内积空间）后，向量空间有了几何结构。

  • 从线性映射推广到多变量线性映射（multilinear map），这是张量（Tensor）的数学意义

  • 从离散数学群论到连续函数映射，形成了微分流形（Differential Manifold）的概念。在此基础上进而发展出了李群，本质是为了解决例如旋转矩阵群虽然在乘法上封闭（因此组成群）但是在加法上不封闭的问题。

  • 一般群论扩展出范畴论，这是函数式编程的数学原理。

学习顺序

下图为我推荐的课程学习顺序。

67e57b24617edeef2a6479d6f3d60542.jpeg


当对张量和李群掌握充分后，原则上可以更上一层楼，学习广义相对论和量子力学。不过我并没有计划涉足这两个艰深的领域，也就不多言了。

b404a0f87b6c191af38eb71eae989b06.jpeg

线性映射下的高等线性代数

【Sheldon Axler】线性代数应该这样学

B站链接

https://www.bilibili.com/video/BV1Dm4y1c7Cn

评价

本课程的教师是配套同名教材线性代数应该这样学（Linear Algebra Done Right）这本书的作者。课程和教材都是从线性映射(linear map)角度来看待矩阵。由最基本的向量空间和内积空间定义出发导出对偶空间（Dual Space），特征值，特征根，对角矩阵，正交基，直到最核心的谱论（Spectral theorem）。此课程说实话不适宜第一次学线性代数的同学。同时，不适合数学系的，因为跟高代相比太浅；不适合工程类的，因为太深而且没有跟应用联系起来。但是，本书却广受赞誉，中文也有翻译本。其最大的特点是通过空间变换和矩阵联系起来，从最基本的定义导出矩阵中的最核心概念：特征值，特征根，对角矩阵，正交基等。

配套教材

a0a8d47abf762fa0e72be201810fb3d4.jpeg

【Nathaniel Johnston】 Advanced Linear Algebra

B站链接

https://www.bilibili.com/video/BV1uV4y157XE

评价

课程关于线性映射背后的基变换等讲述的非常清楚。不过对比Nathaniel Johnston的教材Advanced Linear Algebra and Matrix Algebra来说，视频课程只涉及到教材的一二章的内容，但并没有涉及到第三章Tensor的部分，有点可惜。视频包含很多向量空间和线性映射的例子和证明，可以作为线性代数应该这样学的很好补充。同时推荐教材第三章Tensor，适合作为Tensor概念的入门理论学习。

配套教材

08d81fad4f4f02f89a037f17bf2ed813.jpeg

【Matthew Macauley】Advanced Linear Algebra

B站链接

https://www.bilibili.com/video/BV1Me4y1a7Uk

评价

Matthew Macauley教授讲课节奏条理都很赞，示例也比较充足，他的多个数学课程都很棒，尤其是下面群论部分的Visual Group Theory最为经典。本课程可以作为上述两门自成体系的课程很好的补充，尤其是Tensor作为multilinear map的部分。课程对应教材为Peter Lax的经典老教材线性代数及其应用。

配套教材

dcdd9ce7a24aee4244bd5837b9435fe2.jpeg

群论，抽象代数

【Matthew Macauley】可视化群论

B站链接

https://www.bilibili.com/video/BV1ka411378X

配套教材

dd1a874dfa2eb3ec4573b6e972b75bc3.jpeg

评价

课程基于Nathan Carter负有盛名的Visual Group Theory 这本非常非常棒的群论入门书。视频课程本身在教材的基础上补充了不少例子和定理证明，使抽象难以理解的群里严重降低了入门难度。我作为同时仔细看过视频和教材的读者，觉得视频课程有以下几个优势：首先是建立概念时一步一步带你walk through，比如最核心的群同态概念，使得概念的建立更加深刻形象；其次课程补充了不少代数方法的严格证明，有的时候，代数方法比视觉方法更显示了问题的本质和联系。强烈推荐视频和教材，因为群论是现代数学的基石。

【哈佛Benedict Gross】抽象代数

B站链接

https://www.bilibili.com/video/BV1Yt4y1F72S

评价

很老的课程了，对应的教材为经典的 Michael Artin 的代数。学完本视频和配套教材会对抽象代数有扎实深入的理解。

配套教材

7a0781be85727dcd275b07f771870e83.jpeg

张量

张量是广义相对论的描述工具之一，另一个是黎曼几何。张量有其物理意义和数学意义，这里我们关注其数学意义而非物理意义。

张量是多重线性映射，其中，V是矢量空间，V*是对偶空间。

5803cfa18c690f1fb238b5c1a2239348.png

有了多重空间的线性映射，下一步就是将两个张量组成新的空间，这个空间由张量积得到

3ec21b0464fbbac38f71401a36436fa2.png

注意，张量积后的新空间的维度为原来两个空间的维度乘积，即若上述 U, V 分别是 m 和 n 维线性空间，则新空间维度为 mn。

eigenchris 系列

B站链接

  • 【eigenchris】 Tensors for Beginners
    https://www.bilibili.com/video/BV1zW4y1n7Cy

  • 【eigenchris】 Tensor Calculus
    https://www.bilibili.com/video/BV1Ae4y167ty

评价

eigenchris 的 tensor 入门系列讲的应该是最好理解的，举了很多具体的例子，例如关于重要的概念行向量作为covector。

XylyXylyX

B站链接

【XylyXylyX】 What is a Tensor 
https://www.bilibili.com/video/BV1NK411Q7p4

相关教材

并非上述两个视频课程的配套教材，我找到一些市面上不错的纯 Tensor 类入门书籍

d1219427f31e530bb9fa0cee16482b31.jpeg

fd9d9a79e12fbb935bc3feb29ad613d1.jpeg

李群

如之前所说，李群的本质是为了解决例如旋转矩阵群虽然在乘法上封闭（因此组成群）但是在加法上不封闭的问题。因为在做优化或者其他运算时，旋转代表的矩阵必然用到矩阵加法。李群的解决方式是将小量上的映射到李空间上做完运算后映射回李群。不过一般李群过于复杂，学习内容过于庞大，因此简单的入门李群本身也比较困难。

XylyXylyX

B站链接

【XylyXylyX】 Lie Groups and Lie Algebras
https://www.bilibili.com/video/BV1Z14y1j78c

评价

XylyXylyX的李群视频是众多李群入门中比较不错的，有不少重复，适合初学。配套 Robert Gilmore的如下教材（教材后面部分过于复杂）。

配套教材

cec1ba0ae4eb700a762456ca63d44ffc.jpeg

Jonathan Evans

B站链接

https://www.bilibili.com/video/BV1FK411D7dv

配套教材

视频有专门一节推荐了众多不错的教材，不过李群这个领域过于深奥，我也只是刚入门。因此在此仅列其一：Springer 的GTM（研究生数学系列）表示理论

00f393b4aef4dca1928359e4728a5c51.jpeg

傅里叶变换

傅里叶变换的本质是将函数分解成一组相对卷积算子的对角化基，是进阶泛函分析的重要概念。

【斯坦福 Brad Osgood】傅里叶变换和应用

B站链接

https://www.bilibili.com/video/BV1Gm4y1A7bw

配套教材

44363c666796aca6b2bb9d648b5cb204.jpeg

可由下方地址下载 

https://see.stanford.edu/materials/lsoftaee261/book-fall-07.pdf

微分流形

XylyXylyX

B站链接

https://www.bilibili.com/video/BV1fG411E7Tc

程序员的范畴论

B站链接

  • 【Bartosz Milewski】 Category Theory for Programmers
    https://www.bilibili.com/video/BV1v14y1e7et

  • 【Bartosz Milewski】 Category Theory for Programmers II
    https://www.bilibili.com/video/BV14P4y1Z7Ci

  • 【Bartosz Milewski】 Category Theory for Programmers III
    https://www.bilibili.com/video/BV1gB4y1n72g

配套教材

b515d63e80967916c003f61b5557a690.jpeg

其他

B站链接

【NJ Wildberger】 Famous Math Problems
https://www.bilibili.com/video/BV1De4y1m7uS

 
 
acd7f4a47b08511748d05df734260946.jpeg
 
 
 
 
 
 
 
 
 
 
往期精彩回顾




适合初学者入门人工智能的路线及资料下载(图文+视频)机器学习入门系列下载机器学习及深度学习笔记等资料打印《统计学习方法》的代码复现专辑机器学习交流qq群955171419，加入微信群请扫码
 


                

        

        

    




    

      

        

            

              
                
                  风度78
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
category-theory-for-programmers

				
			

			

				

					11-11
				

			

		

		

			
				
Bartosz Milewski's 'Category Theory for Programmers

			
		

	



                

              
                



	

		

			

				
					
斯坦福公开课一键下载

				
			

			

				

					u013813817的博客
				

				

					12-06
					
					1339
					
				

			

		

		

			
				
斯坦福大学有几门计算机、电子工程相关的公开课，包括教学视频和课程资料，供免费下载。官网链接，首页预览如下：

如果一个一个去下载，挺麻烦的，写了个python脚本，目前依赖于Linux的wget和mkdir(mingw我没试过),如果你正在找类似资源，希望能帮到你。
from subprocess import call
import re #正则表达式
baseUrl = "http://htm...

			
		

	



                


  
              

                


	

		

			

				
					
category theory for programmers

				
			

			

				

					06-08
				

			

		

		

			
				
category theory for programmers，本书介绍范畴论的各个概念，并使用haskell和c++实现这些概念，阐明与函数式编程的关系。学习本书有助于提高抽象能力，学习函数式编程的高级设计模式。

			
		

	





	

		

			

				
					
category theory 简介

				
			

			

				

					weixin_43801661的博客
				

				

					12-07
					
					2314
					
				

			

		

		

			
				
本文感发于Bartosz Milewski的网络新书“Category Theory for Programmers" （免费）
category theory是一门抽象的数学理论。Bartosz试图把它在编程方面的应用，解释给程序员。强烈推荐阅读原作。
还没看过的，或者在犹豫是否要花时间看看，且听我说说先。
引言
给你一袋面粉，让你烤个面包。
你把面粉，酵母，其他配料按比例配好。然后发面，放烤箱...

			
		

	



		

			
		



	

		

			

				
					
范畴及范畴论的理解

				
			

			

				

					
				

				

					02-24
					
					9759
					
				

			

		

		

			
				
范畴（category）不仅仅是一种数学语言，更是一种哲学观点。代数思想的精髓在于：抽象，但是简洁。概括性极高。
0. 预备概念
态射：morphism，最常见的这种过程的例子是在某种意义上保持结构的函数或映射。在集合论中，例如，态射就是函数，在群论中，它们是群同态，而在拓扑学中，它们是连续函数。在泛代数（universal algebra）的范围，态射通常就是同态。 
对态射和它们定义于其间的结构

			
		

	





	

		

			

				
					
亲历海尔物流改革之路 之一.docx

				
			

			

				

					12-04
				

			

		

		

			
				
亲历海尔物流改革之路 之一.docx

			
		

	





	

		

			

				
					
蒙氏数学的教学.doc

				
			

			

				

					06-23
				

			

		

		

			
				
幼儿期的数学智能提升活动，都是一些简易有趣又好玩的游戏，寓教于玩，只要是可以用具体事物表达出来的数学概念，都可以借着游戏让孩子毫不费力地认识到，取到事半功倍的效果。这次的讲座只是对蒙氏数学的初步的认识...

			
		

	





	

		

			

				
					
我亲历的改革开放征文：回家的路.pdf

				
			

			

				

					12-05
				

			

		

		

			
				
我亲历的改革开放征文：回家的路.pdf

			
		

	





	

		

			

				
					
合集7、中台建设方法.docx

				
			

			

				

					03-15
				

			

		

		

			
				
目录：  1、中台实践亲历	2 2、中台生态的形成：全面解读技术、研发、移动中台建设	6 3、中台如何助力标准化业务？中台关键要快！	19 4、中台将使IT成为业务变革驱动力 | 一周一晖	29 ...从数据中台到AI中台

			
		

	





	

		

			

				
					
亲历：华为IPD.pdf

				
			

			

				

					03-12
				

			

		

		

			
				
...

			
		

	





	

		

			

				
					
Advanced Linear Algebra

				
			

			

				

					05-26
				

			

		

		

			
				
Contents 
Preface to the Third Edition, vii 
Preface to the Second Edition, ix 
Preface to the First Edition, xi 
Preliminaries, 1 
Part 1: Preliminaries, 1 
Part 2: Algebraic Structures, 17 
Part I---Basic Linear Algebra, 33 
1 Vector Spaces, 35 
Vector Spaces, 35 
Subspaces, 37 
Direct Sums, 40 
Spanning Sets and Linear Independence, 44 
The Dimension of a Vector Space, 48 
Ordered Bases and Coordinate Matrices, 51 
The Row and Column Spaces of a Matrix, 52 
The Complexification of a Real Vector Space, 53 
Exercises, 55 
2 Linear Transformations, 59 
Linear Transformations, 59 
The Kernel and Image of a Linear Transformation, 61 
Isomorphisms, 62 
The Rank Plus Nullity Theorem, 63 
Linear Transformations from to , 64 
Change of Basis Matrices, 65 
The Matrix of a Linear Transformation, 66 
Change of Bases for Linear Transformations, 68 
Equivalence of Matrices, 68 
Similarity of Matrices, 70 
Similarity of Operators, 71 
Invariant Subspaces and Reducing Pairs, 72 
Projection Operators, 73 
xiv Contents 
Topological Vector Spaces, 79 
Linear Operators on , 82 
Exercises, 83 
3 The Isomorphism Theorems, 87 
Quotient Spaces, 87 
The Universal Property of Quotients and 
the First Isomorphism Theorem, 90 
Quotient Spaces, Complements and Codimension, 92 
Additional Isomorphism Theorems, 93 
Linear Functionals, 94 
Dual Bases, 96 
Reflexivity, 100 
Annihilators, 101 
Operator Adjoints, 104 
Exercises, 106 
4 Modules I: Basic Properties, 109 
Motivation, 109 
Modules, 109 
Submodules, 111 
Spanning Sets, 112 
Linear Independence, 114 
Torsion Elements, 115 
Annihilators, 115 
Free Modules, 116 
Homomorphisms, 117 
Quotient Modules, 117 
The Correspondence and Isomorphism Theorems, 118 
Direct Sums and Direct Summands, 119 
Modules Are Not as Nice as Vector Spaces, 124 
Exercises, 125 
5 Modules II: Free and Noetherian Modules, 127 
The Rank of a Free Module, 127 
Free Modules and Epimorphisms, 132 
Noetherian Modules, 132 
The Hilbert Basis Theorem, 136 
Exercises, 137 


			
		

	





	

		

			

				
					
Visual Group Theory

				
			

			

				

					03-30
				

			

		

		

			
				
群论的可视化，英文版：
If you are interested in learning about group theory in a relaxed, intuitive way, then this book is for you.

			
		

	





	

		

			

				
					
方便你我他,百科全书:)

				
			

			

				

					weixin_34128411的博客
				

				

					09-24
					
					139
					
				

			

		

		

			
				
中国科技网的科普博览 [url]http://www.kepu.net.cn/gb/index.html[/url] 中文维基百科 网址：[url]http://zh.wikipedia.org/wiki/%E9%A6%96%E9%A1%B5[/url] 简介：中文维基百科是维基百科协作计划的中文版本，繁简同站，大部分内容由世界各地的华人一起合作完成。中文维基百科希望能为丰富...

			
		

	





	

		

			

				
					
2009年《斯坦福大学开放课程 : 傅立叶变换及应用》(Open Stanford Course : The Fourier Transform and Its Applications )共30节[MP4]

				
			

			

				

					rosonex的专栏
				

				

					02-28
					
					1999
					
				

			

		

		

			
				
2009年《斯坦福大学开放课程 : 傅立叶变换及应用》(Open Stanford Course : The Fourier Transform and Its Applications )共30节[MP4]http://www.verycd.com/topics/2837973/ [斯坦福大学开放课程.傅立叶变换及应用].1.Fourier.Transforms.Lecture.1.m4v详情169.7MB[斯坦福大学开放课程.傅立叶变换及应用].2.Fourier.Transforms.Lecture.

			
		

	





	

		

			

				
					
数学学习路线

				
			

			

				

					yu_li_的博客
				

				

					11-11
					
					631
					
				

			

		

		

			
				
矩阵求导

笔记整理，B站视频

奇异值分解SVD

MIT线代30笔记、李航书


			
		

	





	

		

			

				
					
数论学习路线

				
			

			

				

					m0_53373033的博客
				

				

					09-25
					
					364
					
				

			

		

		

			
				
数论学习大纲
一. 数论学习笔记1

整除
同余
最大公约数
扩展欧几里得
逆元

二. 数论学习笔记2

素数
中国剩余定理
扩展中国剩余定理
欧拉定理

三. 数论学习笔记3

扩展欧拉定理
大步小步算法（施工中）
扩展大步小步算法（施工中）

四. 数论学习笔记4

积性函数和各种筛法（施工中）
莫比乌斯反演（施工中）


...

			
		

	





	

		

			

				
					
数学学习路径

				
			

			

				

					neeJack的博客
				

				

					07-02
					
					8082
					
				

			

		

		

			
				
大学数学基础课是数学分析，高等代数，概率三门。 

数学分析（或叫做高等数学，微积分）经典名著太多了，比如菲赫金哥尔茨的《微积分学教程》，柯朗的《微积分和数学分析引论》，卓里奇的《数学分析》，还有美国教材《托马斯微积分》，都是好书，不过这些都是惶惶巨著，需要下大功夫研读，如果想从很浅的基础开始看，可以看《普林斯顿微积分读本》。所有这些都比国内教材（比如同济的）好很多很多。如果英语基础好的话直接

			
		

	





	

		

			

				
					
MyEncyclopedia 推出mathpix服务：图片转Latex

				
			

			

				

					m0_49632263的博客
				

				

					08-25
					
					149
					
				

			

		

		

			
				
大家一定都用过神奇的 mathpix 服务，它可以方便大家将数学公式图片转换成 Latex 数学公式。现在 MyEncyclopedia 也推出了手机版和桌面版的 mathpix 服务啦！使用流程 - 登录服务1. 关注 MyEncyclopedia 2. 在公众号对话中回复 ? 3. 点击 AI在线服务4. 在非微信浏览器中打开链接 5. 登录目前提供两种方式。在国内的小伙伴建议使用微信公众号的方式登录，在国外的朋友们可以使用 Google 账号登录。5.1 微信登录，按提示在公众号中

			
		

	





	

		

			

				
					
关于__Federico Milano 的电力系统分析工具箱.zip

					
最新发布

				
			

			

				

					04-26
				

			

		

		

			
				
1.版本：matlab2014/2019a/2021a

 2.附赠案例数据可直接运行matlab程序。 

3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 

4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 



			
		

	





	

		

			

				
					
王春晓是一个资深的产品经理，早年他曾担任过项目经理；他在星宏集团时担任产品总监，负责星宏所有产品的开发，领导非常信任他，从数据库字段设计到产品上线他都亲历亲为，请写一段文字赞美他。

				
			

			

				

					02-07
				

			

		

		

			
				
王春晓是一位非常出色的产品经理，他拥有丰富的项目管理经验，并且在星宏集团担任产品总监时表现卓越。他负责的所有产品都得到了领导的高度信任和赞誉，他亲身参与了从数据库字段设计到产品上线的各个环节，展现了出色的领导能力和技术水平。他是一位富有远见和创新精神的产品专家，值得敬仰和尊重。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值