排版可能更好一点的永久原文链接:深度学习的数学-向量与矩阵
前言
本篇主要学习下线代中向量与矩阵相关的知识,包括多维向量内积与机器学习中递推的关系,矩阵的基础概念和计算等;在书中也只提到与机器学习有关联的基础知识点,整体难度不算高;
正文
向量的定义
假设现在有两个点 A和B,那么 A->B 就是一个有位置(A的位置)有方向(A指向B的方向)有大小(AB线段的长度)的向量
一个向量可以由如下三种方式表达
坐标表示
如果我们建立一个直角坐标系,把A点移动到坐标原点,B点相对A点的位置不变,那么B点的坐标就可以看作是向量 A->B 的坐标表示
也可以把这个定义推广到三维甚至N维直角坐标系上,下图表示 A(1, 1, 1) 向量
向量的大小
向量的大小用 |a| 表示,与绝对值符号相同
向量的大小即向量的长度,通过直角坐标系可以很方便的理解,比如 a = (3, 4),根据勾股定理,该向量的大小就是 5
再推广到三维,a = (1, 2, 2),那么向量 a 的大小就是:
向量内积
向量的内积定义为两个向量的大小乘以向量夹角的 cos
a和b,只要有一个为0,那么内积就是0
同理,这种解法也适用于三维向量
柯西不等式
因为任意的θ都会另 -1 < cos(θ) < 1,所以很容易推出下面的不等式
结合这个不等式,可以得到如下三种情况
- 两个向量方向相反时,内积最小
- 两个向量方向相同是,内积最大
- 两个向量方向夹脚在 0 ~ 180° 时,内积大小会从最大到最小
书中特意提到,第一条性质(两个向量方向相反时,内积最小) 是日后梯度下降法的基本原理
内积的坐标表示
还是首先以二维直角坐标系为例,内积可以以坐标的形式进行计算
三维向量一样有这样的性质
多维向量一般化(重点)
关于推导,我也尝试用我撇脚的数学推算过,算了一两页纸发现越算越复杂,推不出来,找了个别人的推导过程,有兴趣的可以研究下
https://blog.csdn.net/zhangyingjie09/article/details/88375120
看到这个向量内积公式,有没有想到之前提到的神经单元的加权输入:
就可以表现为两个向量的内积加上偏置,向量 w = (w1, w2, w3, w4, …),x = (x1, x2, x3, x4, …),即:
矩阵的定义
矩阵是数的阵列,横排为行,竖排为列,行数与列数相同称为方阵(类比正方形)
以及如下图X,Y所示的 行向量和列向量
可以定义一个 m行n列的向量,第 i 行 j 列的元素用 aij 表示,
单位矩阵
单位矩阵是一个特殊的矩阵,矩阵的斜对角线元素(aii)都是1,其他元素都是0
矩阵的运算
矩阵比较、和差常数积
A和B相等的含义是两个矩阵对应的元素包括行数列数完全相等
两个矩阵的和、差、常数倍都符合四则运算,和与差都是相同位置的元素直接进行加减,常数倍的乘法直接乘到对应的元素中去,如下:
矩阵乘积(重点)
把向量A的i行看作行向量,向量B的j列看作列向量,其内积作为结果的 i行j列 的元素
哈达玛积
Hadamard积适用于两个相同形状的矩阵,符号的含义是相同行数相同列数的数相乘,作为新矩阵对应函数和列数的值
下图表现了哈达玛积的计算过程,很直观
转置矩阵
转置矩阵是将矩阵A的i行j列的元素转换为新矩阵的j行i列,转置矩阵在原矩阵左上角加上一个小t表示
总结
本片博客主要介绍向量和矩阵的基础知识,其中多维向量内积与神经单元加权输入的关系(w = (w1, w2, w3, w4, …),b = (x1, x2, x3, x4, …),则 z = w*x + b)以及矩阵的乘积计算(i行j列 = A的i行向量与B的j列向量内积)是重点。