关闭

线性代数学习笔记1

标签: 数学麻省理工线性代数
1480人阅读 评论(0) 收藏 举报
分类:

本人机器学习小白一枚,目前认识到数学对于理解算法和应用算法到特定的数据集上太重要了。很喜欢MIT的线性代数课程,以MIT课程的内容为主,做一些学习总结。旨在于总结自己学过的知识、受到的启发、加强自己的逻辑性和对内容的理解。非常感谢网络上大牛们的MIT线性代数导论笔记,文末是链接。

1、线性方程
包含未知数x1,x2,...,xn的一个线性方程是形如a1x1+a2x2+...+anxn=b的方程,其中b与系数a1,a2,...,an是实数或复数,通常是已知数。下标n是任意正整数,实际问题中通常是几百,几千或更大。
注:4x15x2=x1x2x2=2x16都不是线性方程,因为包含x1x2x1
2、线性方程组
线性方程组是由一个或几个包含相同变量x1,x2,...,xn的线性方程组成的。方程组所有可能的解的集合称为线性方程组的解集。两个线性方程组是等价的,当它们有相同的解集。
3、线性代数的基本问题就是解n个线性方程,n个未知数的方程组。
例如:包含两个未知数的两个方程组成的方程组

2xy=0

x+2y=3

求包含两个未知数的两个方程组成的方程组的解,等价于求两条直线的交点。当然两条直线不一定交于一个点,它们可能平行,也可能重合,重合的两条直线上的每个点都是交点。
线性方程组的解有三种情况:无解、有唯一解、有无穷多解
分别对应下图
无解唯一解无穷多解
线性方程组的几何图像有两种,分别是行图像和列图像。上面的图像是行图像,而需要重点理解的是列图像。下面仔细解释下两种图像。
首先,将上述方程组写成矩阵形式,即把每一个变量的系数写在对齐的一列中,就是
二元方程组矩阵形式

其中A=系数矩阵被称为系数矩阵(coefficient matrix)。未知数向量通常记为x=未知数,而等号右侧的向量记为b。线性方程组简记为Ax=bAb通常是已知数。
行图像:一次取线性方程组的一行,也就是一个方程组,作图于xy平面。
行图像

列图像:在列图像中,我们将系数矩阵A写成列向量的形式,寻找列向量的线性组合(linear combination)系数x,y来构成向量b
列图像

向量线性组合是贯穿本课程的重要概念。对于给定的向量cd 以及系数xy,我们将xc+yd称之为cd 的一个线性组合。
从几何上讲,我们是寻找x 和y,使得两者分别数乘对应的列向量之后相加得到向量这里写图片描述。其几何图像如下图。
列图像

想象一下如果任意取x,y,则得到的线性组合又是什么?其结果就是以上两个列向量的所有线性组合将会布满整个坐标平面。

下面扩展到包含三个未知数的三个方程组成的方程组。

三元方程组

每一个方程都是三维空间内的一个平面,方程组的解为三个平面的交点。从行图像的角度来看,三元方程组是否有解意味着什么?当方程所代表的三个平面相交于一点时方程有唯一解;三个平面中至少两个平行则方程无解;平面的两两交线互相平行方程也无解;三个平面交于一条直线则方程有无穷多解。
三元方程组的解

三元方程组的列图像

如果改变等号右侧的b 的数值,那么对于行图像而言三个平面都改变了,而对于列图像而言,三个向量并没有发生变化,只是需要寻找一个新的组合。
那么问题来了,是否对于所有的b,方程Ax=b 都有解?
从列图像上看,问题转化为“列向量的线性组合是否覆盖整个三维空间?”
反例:若三个向量在同一平面内——比如“列3”恰好等于“1”加“列2”,而若b 不在该平面内,则三个列向量无论怎么组合也得不到平面外的向量b。此时矩阵A 为奇异阵或称不可逆矩阵,因为A的列向量是线性相关的。在矩阵A 不可逆条件下,不是所有的b 都能令方程Ax=b 有解。(线性相关性,可逆矩阵,奇异矩阵之后的章节会介绍)
对n 维情形则是,n 个列向量如果相互独立——“线性无关”,则方程组有解。否则这n 个列向量起不到n 个的作用(即A的列向量是线性相关的),其线性组合无法充满n 维空间,方程组未必有解。
4、矩阵与向量的乘法
矩阵与向量的乘法

3
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:8723次
    • 积分:386
    • 等级:
    • 排名:千里之外
    • 原创:31篇
    • 转载:0篇
    • 译文:0篇
    • 评论:2条
    文章分类
    最新评论