一文了解线性代数--深度学习入门之数学基础

一文了解线性代数–深度学习入门之数学基础

本文将简单且形象的对线性代数进行介绍，与传统的线性代数教材不同，我不想聚焦于具体的数学命题和技术，而是想探究线性代数的现实意义与哲学本质。本文主要记录我为了深入了解机器学习而再次学习线性代数的一些所思所感，或许不够严谨，但希望能大家一种了解线性代数的不同视角

一、定义

首先来看维基百科对线性代数的定义：

线性代数是关于向量空间和线性映射的一个数学分支。它包括对线、面和子空间的研究，同时也涉及到所有的向量空间的一般性质。

所以要了解线性代数，我们必须了解向量空间和线性映射。

对于向量空间，其核心概念是向量和空间。向量数学上看是一个有序数列，而本质上就是代表n维空间的点（也可见其看成原点到该点的有向线段），而这n维空间就是向量空间。那什么是空间呢？我认为能装东西的就是空间，它类似于集合，它既可以包含现实的事物也有包含数学概念。

比如计算机内有存储单元，那么就有内存空间；我们上课有课表，那么就有课表空间；有一个能装载梦境的东西，我们可以叫它盗梦空间。对于数学来说，数学家定义的空间里装载的当然是能运算的东西。从拓扑空间开始，一步步往上加定义，可以形成很多空间。线形空间其实还是比较初级的，如果在里面定义了范数，就成了赋范线性空间。赋范线性空间满足完备性，就成了巴那赫空间；赋范线性空间中定义角度，就有了内积空间，内积空间再满足完备性，就得到希尔伯特空间，如果空间里装载所有类型的函数，就叫泛函空间。

而线性映射表示向量空间的运动，即空间上的一点如何到达另一点，或是n维空间的点如何到达m维空间的某个位置。而完成这个空间运动或者说空间变换的就是矩阵（左乘），所以矩阵的本质就是空间变换。

二、个人想法

看到了运动和空间是不是想起了相对论，或许你还会想起哲学中对运动和空间的讨论。没错运动与空间其实正是自然界中最本质的东西，空间确定了事物的静态属性，运动则确定了它的动态属性。（另一重要概念时间则和另一门大学数学概率论者有者很大关系，因为事物随时间的发展是包含不确定性的，而不确定中又有着一些必然的东西，这不就是概率论所研究的吗。而高等数学研究的则是自然界另一重要概念–极限。所以大学最重要的三门数学课程研究的都是自然界最本质的东西，若深入了解，你将会发现它们是多么的美妙。很可惜，之前由于纯理论的教学方式和自己的不够重视，居然白白浪费了学习这些课程的时间，希望现在重新学起还不晚。）

想到这里我忽然又有了一个想法–信息是相对于所存在空间的，所以无论是信息压缩还是主要信息提取或是特征信息获得，都可以将一个对象从一复杂的空间转换换到一个较为简单的空间！而很多机器学习算法的基础不就是这个吗！甚至深度学习就是通过神经网络将输入信息转换到对应的特征空间，以使其跟容易的学到本质特征。而一层层的神经网络层就是一个个特征空间。（想到这里是不是很兴奋，深度学习也并不是真正神奇的黑箱嘛。不过想象先到这里，想要真了解机器学习的本质，我们现在还是需要先把基础打牢，我们下面继续讨论线性代数）

三、方程组-线性组合-空间变换

通过上面的分析，我们形成了几点共识，向量是空间中的一个点，或者说是空间中的一个对象。而矩阵就是实加在空间点上的运动，或者说是空间变换。那线性代数的线性怎么理解呢，线性的基本意义就是可加性和比例性，用数学语言讲就是，线性空间满足满足对加法和数乘封闭，即空间中的一个对象经过加法和数乘运算后，仍在这个空间中。

说了这么多，或许有人会觉得怎么和自己大学课堂上学的线性代数不太一样。那好，我们现在就通过解方程组->线性组合->空间变换的顺序再次介绍一下线性代数，其实他们本质都是互通的，只是当我们站的角度高了（比如从线性空间的角度看），对它的理解将会更加深刻。

首先说说我对n元一次方程的理解：方程就是点对一个基的线性变换之和为某值。