机器学习中必备的高等数学和线性代数基础

高等数学基础

函数

WHAT:后面基本都是用函数，这里先理解一下函数的概念

函数的定义：

• y = f(x) 其中x是自变量，y是因变量。y随着x变化

几种特性：

奇偶性、周期性、单调性（如下图）

极限：

• 按照一定次数排列的数：x1，x2，…，xn，其中xn叫做通项
• 对于数列｛xn｝,当n无限增大时，其通项无限接近于一个常数A，则称该数列以A为极限或称数列收敛于A。

导数：

• 都有对应的结果，不用死记硬背，查就行了，如©’ = 0 或者(sin x)’ = cos x

方向导数（引出梯度）

在函数定义域的内点，对某一方向求导得到的导数。

常规数学中，所有问题都有一个解。而机器学习当中，求解很难或者没有解，我们只能不断逼近这个最优解。

问题一：蚂蚁沿着什么方向跑路不被火烧，能活下来（二维平面）

蚂蚁沿着任意方向都可以活，最优的是沿着对角方向L，z是函数变化，也就是图中的φ。

三维平面的方向导数公式：

求一个方向导数具体的值：

所求方向导数

梯度

WHAT:简而言之，就是找到函数在某点沿着哪个梯度方向变化最大（小），也就是怎样的方向对数据逼近所需要的值最好。

是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

函数：z = f(x,y)在平面域内具有连续的一阶偏导数，对于其中每个点P(x,y)都有向量

根据上面的梯度导数，和方向导数的区别就在多了个cosθ，θ充当梯度和方向导数之间的关系

函数在某点的梯度是一个向量，它的方向与方向导数最大值取得的方向一致。

其大小正好是最大的方向导数

注意，只有θ=0，cos导数才能=1，梯度才能取得最大值，也就是那个方向。而沿着反方向就是最小值也就是梯度下降。

求一个具体值，最大梯度方向和最小梯度方向：

注：得出的结果(-1,0,2)，求解：((-1^2) + (0^2) + (-2^2)) = √5，前面都是x的平方，所以结果也需要开根号。

微积分

微积分基本理论

WHAT:前面说到，机器学习当中，求解很难或者没有解，而微积分也是一个用简单的方式，求一个与实际情况最接近的答案。

很多的微分积起来

如何求A面积的值

以直代曲：

• 对于矩形，我们可以轻松求得其面积，能否用矩形代替曲线形状呢？

• 应该用多少个矩形来代替？

越小的矩形，越覆盖，然后求每个矩形的面积。

面积的由来：

• 在ab之间插入若干个点，这样就得到n个小区间。
  

• 当分割无限加细，每个小区间的最大长度为λ，此时λ → 0

• 曲边面积：

注意每个小区间的最大长度为λ，而λ无限接近于0时，那么曲边的面积我们就可以得出，当然这里的近似表达是极限，无限接近的极限。

求和：

我们需要尽可能的将每一个矩形的底边无穷小

莱布尼茨为了体现求和的感觉，把S拉长了，简写成

将上面的所有矩阵求和，∫ = sum，求和的意思

定积分:

泰勒公式

what：用简单、熟悉的多项式来近似替代复杂的函数。

一个概念可以自己去找找，需要就找我，我再把内容加上

线性代数基础

矩阵和特征

WHAT：人工智能领域，数据基本是矩阵形式，而矩阵的每列（一般是除开首列），称为特征

矩阵：

拿到数据后，数据就长如下样子，有行有列

左图√表示A可以到B和C，如右上图，再把√号改成0/1以存储在数据里面，就如右下图

几种特别的矩阵：

上三角部分有值，和下三角部分有值

对角阵：对角有值且可以是任意值，单位矩阵：对角有值且相同

同型矩阵：行列相同。矩阵相等：行列相同且里面的值一样

向量内积

• [x, y] = x1 y1 + x2 y2 + … + xn yn，此时我们就把[x,y]叫做向量的内积。

• 对称性：[x, y] = [y, x]
• 线性性质：[λx, y] = λ[x, y], [x + y, z] = [x, z] + [y, z]

SVD矩阵分解

WHAT：为了让数据的呈现更好，且不破坏数据的原始表达

数据行列可能很大，如电商行业100万客户（行），有1万的商品（特征），用一组数据表达就是

客户ID	商品1	商品2	…	商品1万
xxx1	1（表示买过一次）	0	…	5
xxx2	0	1	…	0
…	5	10	…	0
xxx100万	…	…	…	…

那么来一个客户，就是直接多1万列表示，这样的数据是非常稀疏的，我们可以分解成A表100万客户，100个特征，而这100个特征对应这那B表的1万个商品，也就是一个表变成A表和B表，且两者关联。

这就需要用到SVD矩阵。