MIT 18.06 linear algebra lecture 6 列空间和零空间 笔记

子空间回顾

向量空间指的是在线性组合下是封闭的一组向量:向量空间中的任意两个向量\(\boldsymbol v\)\(\boldsymbol w\),在任取两个实数\(c\)\(d\)的情况下,\(c\boldsymbol v\times d\boldsymbol w\)同样在该向量空间中。

假设平面\(P\)和直线\(L\)均经过原点\(\begin{bmatrix} 0 \\ 0 \\ 0 \end{bmatrix}\),则\(P\)\(L\)均是\(\mathbb{R}^3\)的子空间。两者的并集\(P\cup L\)通常不是子空间,因为\(P\)中的向量和\(L\)中的向量可能并不在\(P\cup L\)中。而两个子空间\(S\)\(T\)的并集\(S\cap T\)也是子空间,根据\(S\)\(T\)在线性组合下是封闭的,很容易证明。

\(A\)的列空间

矩阵\(A\)列空间(column space)是\(A\)的列向量所有不同的线性组合得到的向量空间。

\(A\boldsymbol x=\boldsymbol b\)

给定一个矩阵\(A\)\(\boldsymbol{b}\)取什么值时,存在解\(\boldsymbol{x}\)
\[ \text{Let }A= \begin{bmatrix} 1 & 1 & 2\\ 2 & 1 & 3\\ 3 & 1 & 4\\ 4 & 1 & 5 \end{bmatrix} \]
\(A\boldsymbol{x}=\boldsymbol{b}\)不可能对每个\(\boldsymbol{b}\)都存在解,假设存在解\(\boldsymbol{x}\),则\(\boldsymbol{b}\)必须是\(A\)的列向量的线性组合,仅仅3个列通过线性组合无法填充满整个四维向量空间,因此肯定存在某些向量\(\boldsymbol{b}\)无法通过\(A\)的列向量线性组合得到。

问题:什么样的\(\boldsymbol{b'}\)使得\(A\boldsymbol{x}=\boldsymbol{b}\)有解?
一个有用的方法是:直接选择不同的\(\boldsymbol{x}\)得到\(\boldsymbol{b}=A\boldsymbol{x}\)。当\(\boldsymbol{b}\)\(A\)列空间中的向量时,等式\(A\boldsymbol{x}=\boldsymbol{b}\)存在解。
上面的矩阵\(A\)中,第3列是前2列之和,对子空间的构建没有作用,\(A\)的列空间是\(\mathbb{R}^4\)中的二维子空间。

\(A\)的零空间

矩阵\(A\)零空间(nullspace)是所有满足\(A\boldsymbol{x}=0\)的向量\(\boldsymbol{x}=\begin{bmatrix}x_1 \\x_2 \\x_3\end{bmatrix}\)的集合。上面提到的矩阵\(A\)的列空间是\(\mathbb{R}^4\)的子空间,\(A\)的零空间是\(\mathbb{R}^3\)的子空间,很容易检验\(A\)的零空间是向量空间:\(A(\boldsymbol{x_1}+\boldsymbol{x_2})=A\boldsymbol{x_1}+A\boldsymbol{x_2}=0\)\(A(c\boldsymbol{x})=c(\boldsymbol{0})\)
\(A\)为例:
\[ \begin{bmatrix} 1 & 1 & 2\\ 2 & 1 & 3\\ 3 & 1 & 4\\ 4 & 1 & 5 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix}= \begin{bmatrix} 0\\ 0\\ 0\\ 0 \end{bmatrix} \]
\(A\)的零空间\(N(A)\)\(c\begin{bmatrix}1\\1\\-1\end{bmatrix}\),其中\(c\)是任意实数,列1加列2减去列3为零向量,该零空间是\(\mathbb{R}^3\)中的一条直线。

\(\boldsymbol b\)的其它值

\[ \begin{bmatrix} 1 & 1 & 2\\ 2 & 1 & 3\\ 3 & 1 & 4\\ 4 & 1 & 5 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix}= \begin{bmatrix} 1\\ 2\\ 3\\ 4 \end{bmatrix} \]
上述等式的解不能构成子空间,很简单能够判断:因为零向量不是解。所有的解构成\(\mathbb{R}^3\)中的一条直线,并且通过\(\begin{bmatrix}1\\0\\0\end{bmatrix}\)\(\begin{bmatrix}0\\-1\\1\end{bmatrix}\),但不经过\(\begin{bmatrix}0\\0\\0\end{bmatrix}\)


笔记来源:MIT 18.06 lecture 6

转载于:https://www.cnblogs.com/yuyin/articles/10035368.html

内容概要:本文详细探讨了基于樽海鞘算法(SSA)优化的极限学习机(ELM)在回归预测任务中的应用,并与传统的BP神经网络、广义回归神经网络(GRNN)以及未优化的ELM进行了性能对比。首先介绍了ELM的基本原理,即通过随机生成输入层与隐藏层之间的连接权重及阈值,仅需计算输出权重即可快速完成训练。接着阐述了SSA的工作机制,利用樽海鞘群体觅食行为优化ELM的输入权重隐藏层阈值,从而提高模型性能。随后分别给出了BP、GRNN、ELMSSA-ELM的具体实现代码,并通过波士顿房价数据集其他工业数据集验证了各模型的表现。结果显示,SSA-ELM在预测精度方面显著优于其他三种方法,尽管其训练时间较长,但在实际应用中仍具有明显优势。 适合人群:对机器学习尤其是回归预测感兴趣的科研人员技术开发者,特别是那些希望深入了解ELM及其优化方法的人。 使用场景及目标:适用于需要高效、高精度回归预测的应用场景,如金融建模、工业数据分析等。主要目标是提供一种更为有效的回归预测解决方案,尤其是在处理大规模数据集时能够保持较高的预测精度。 其他说明:文中提供了详细的代码示例性能对比图表,帮助读者更好地理解复现实验结果。同时提醒使用者注意SSA参数的选择对模型性能的影响,建议进行参数敏感性分析以获得最佳效果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值