xiaomeng29的博客

转载地址：https://www.cnblogs.com/daniel-D/p/3219802.html思路：利用范数考察Ax = b中b的扰动对于x的影响

内积向量空间（此处的向量是抽象的向量，可以是vector、matrix、甚至是function）中有两个向量 x 和 y，通常我们会很自然的想到这两个向量之间是有关系的，那么怎样去衡量这样一种关系？这就引出了内积的概念。内积就是向量空间 V 中的向量对 x和y 的一个运算，它使得x,y与一个实数 <x,y>产生了关联。当然为了方便运用，我们为这种运算提供了一些限制条件：(...

矩阵微分的一般方法首先说明，我们的方法主要在是在denominator layout 框架下。按照微分分子分母的类型，我们可以给矩阵微分分为几个类别。如果 scalar / vector、vector / matrix 等等。我们不需要记住每一种情况下的规则。除却涉及矩阵的微分计算（形式比较特殊），我们首先需要记住的是微分计算的两个个法则：乘法法则、和链式法则（加法法则比较简单直观，无需...

矩阵微分的研究范围并不是任何形式的矩阵都可以做微分，我们首先需要规定下矩阵微分的范围：上图中灰色的部分，我们不做研究矩阵微分的两套标准矩阵微积分相比较标量的微积分，形式上比较复杂，标准也不统一。其中比较常见的是 denominator layout 和 numerator layout，前者的微分结果形式上和分母类似，后者反之。例如 y 为 m 维列向量，x 为 n 维列向量，...

由于工作和学习多涉及到机器学习，所以线性代数的知识自然是少不了的。回顾自己的本科和研究生生涯，数学功底比较扎实的，线性代数相关的一些基础概念如矩阵乘法，相关性，矩阵的秩等等记得很清晰的。但并非那么直观的概念像特征向量、二次型，空间转换相关概念，虽然复习了之后很快能想起来，但过了一段时间之后又会忘掉。确实线性代数比起高等数学和概率论，更加抽象一些，大概是因为现实生活中找不到相近的对照吧，这也是不易记...

奇异值分解（SVD）的应用广泛，它在数据降维，推荐系统以及自然语言处理等方面都有突出的表现，另外，它还是PCA算法简化的基石。SVD原理我们假设有n * m的矩阵 X，的阶为r。作为引出SVD的准备，我有以下定义：1.为的特征向量，v_i为m维，对应的特征值为，所以有 ...

主成分分析，或者成为PCA，是一种被广泛使用的技术，应用领域包括维度降低，有损数据压缩，特征抽取，数据可视化。有两种PCA的定义方式，我们这里主要介绍第一种定义方式，即数据在低维空间上的投影，使得投影方差最大化。PCA原理假设我们有数据集合，n = 1...N，我们要把它投影到一个M维的低维空间当中去（M<N）。为了达到这个目的，我们首先要对数据做归一化，使得数据在每个维度上均值为...

直观理解仿射空间向量空间（也叫线性空间）我们是很熟悉的，那么可以借助向量空间给仿射空间一个直观的定义：仿射空间就是没有原点的向量空间。向量空间没有了原点，会有什么样的影响？向量是基于原点的，向量有两个元素-大小、方向，大小任意给出两个点就可以衡量，但没有了原点，我们是无法用一个统一的标准来衡量方向的，也正因如此，仿射空间包含点集而不单纯是向量集。更进一步，没有了统一标准的向量，那么向量...