高等数学基础
函数
WHAT:后面基本都是用函数,这里先理解一下函数的概念
函数的定义:
- y = f(x) 其中x是自变量,y是因变量。y随着x变化
几种特性:
奇偶性、周期性、单调性(如下图)
极限:
- 按照一定次数排列的数:x1,x2,…,xn,其中xn叫做通项
- 对于数列{xn},当n无限增大时,其通项无限接近于一个常数A,则称该数列以A为极限或称数列收敛于A。
导数:
- 都有对应的结果,不用死记硬背,查就行了,如©’ = 0 或者(sin x)’ = cos x
方向导数(引出梯度)
在函数定义域的内点,对某一方向求导得到的导数。
常规数学中,所有问题都有一个解。而机器学习当中,求解很难或者没有解,我们只能不断逼近这个最优解。
问题一:蚂蚁沿着什么方向跑路不被火烧,能活下来(二维平面)
蚂蚁沿着任意方向都可以活,最优的是沿着对角方向L,z是函数变化,也就是图中的φ。
三维平面的方向导数公式:
求一个方向导数具体的值:
所求方向导数
梯度
WHAT:简而言之,就是找到函数在某点沿着哪个梯度方向变化最大(小),也就是怎样的方向对数据逼近所需要的值最好。
是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。
函数:z = f(x,y)在平面域内具有连续的一阶偏导数,对于其中每个点P(x,y)都有向量
根据上面的梯度导数,和方向导数的区别就在多了个cosθ,θ充当梯度和方向导数之间的关系
函数在某点的梯度是一个向量,它的方向与方向导数最大值取得的方向一致。
其大小正好是最大的方向导数
注意,只有θ=0,cos导数才能=1,梯度才能取得最大值,也就是那个方向。而沿着反方向就是最小值也就是梯度下降。
求一个具体值,最大梯度方向和最小梯度方向:
注:得出的结果(-1,0,2),求解:((-1^2) + (0^2) + (-2^2)) = √5,前面都是x的平方,所以结果也需要开根号。
微积分
微积分基本理论
WHAT:前面说到,机器学习当中,求解很难或者没有解,而微积分也是一个用简单的方式,求一个与实际情况最接近的答案。
很多的微分积起来
如何求A面积的值
以直代曲:
-
对于矩形,我们可以轻松求得其面积,能否用矩形代替曲线形状呢?
-
应该用多少个矩形来代替?
越小的矩形,越覆盖,然后求每个矩形的面积。
面积的由来:
-
在ab之间插入若干个点,这样就得到n个小区间。
-
当分割无限加细,每个小区间的最大长度为λ,此时λ → 0
-
曲边面积:
注意每个小区间的最大长度为λ,而λ无限接近于0时,那么曲边的面积我们就可以得出,当然这里的近似表达是极限,无限接近的极限。
求和:
我们需要尽可能的将每一个矩形的底边无穷小
莱布尼茨为了体现求和的感觉,把S拉长了,简写成
将上面的所有矩阵求和,∫ = sum,求和的意思
定积分:
泰勒公式
what:用简单、熟悉的多项式来近似替代复杂的函数。
一个概念可以自己去找找,需要就找我,我再把内容加上
线性代数基础
矩阵和特征
WHAT:人工智能领域,数据基本是矩阵形式,而矩阵的每列(一般是除开首列),称为特征
矩阵:
拿到数据后,数据就长如下样子,有行有列
左图√表示A可以到B和C,如右上图,再把√号改成0/1以存储在数据里面,就如右下图
几种特别的矩阵:
上三角部分有值,和下三角部分有值
对角阵:对角有值且可以是任意值,单位矩阵:对角有值且相同
同型矩阵:行列相同。矩阵相等:行列相同且里面的值一样
向量内积
- [x, y] = x1 y1 + x2 y2 + … + xn yn,此时我们就把[x,y]叫做向量的内积。
- 对称性:[x, y] = [y, x]
- 线性性质:[λx, y] = λ[x, y], [x + y, z] = [x, z] + [y, z]
SVD矩阵分解
WHAT:为了让数据的呈现更好,且不破坏数据的原始表达
数据行列可能很大,如电商行业100万客户(行),有1万的商品(特征),用一组数据表达就是
客户ID | 商品1 | 商品2 | … | 商品1万 |
---|---|---|---|---|
xxx1 | 1(表示买过一次) | 0 | … | 5 |
xxx2 | 0 | 1 | … | 0 |
… | 5 | 10 | … | 0 |
xxx100万 | … | … | … | … |
那么来一个客户,就是直接多1万列表示,这样的数据是非常稀疏的,我们可以分解成A表100万客户,100个特征,而这100个特征对应这那B表的1万个商品,也就是一个表变成A表和B表,且两者关联。
这就需要用到SVD矩阵。