傅里叶变换
https://zhuanlan.zhihu.com/p/40783304
https://zhuanlan.zhihu.com/p/19763358
很多在时域看似不可能做到的数学操作，在频域相反很容易。这就是需要傅里叶变换的地方。尤其是从某条曲线中去除一些特定的频率成分，这在工程上称为滤波，是信号处理最重要的概念之一，只有在频域才能轻松的做到。再说一个更重要，但是稍微复杂一点的用途——求解微分方程。但是求解微分方程却是一件相当麻烦的事情。因为除了要计算加减乘除，还要计算微分积分。而傅里叶变换则可以让微分和积分在频域中变为乘法和除法。
傅里叶同学告诉我们，任何周期函数，都可以看作是不同振幅，不同相位正弦波的叠加。因此傅里叶思想是将周期函数用不同的正弦波来表示。将时域信息剔除(正弦波带走时域信息)。
正弦波可以看成是圆周运动在时域上的表示，如下图
时域到频域傅里叶映射关系如下：
傅里叶变换与反变换
F
(
ω
)
=
∫
−
∞
+
∞
f
(
t
)
e
i
w
t
d
t
F(\omega)=\int^{+\infty}_{-\infty}f(t)e^{iwt}dt
F(ω)=∫−∞+∞f(t)eiwtdt
f
(
t
)
=
1
π
∫
−
∞
+
∞
F
(
ω
)
e
i
w
t
d
ω
f(t)={1\over \pi} \int^{+\infty}_{-\infty}F(\omega)e^{iwt}d\omega
f(t)=π1∫−∞+∞F(ω)eiwtdω
拉式变换
https://blog.csdn.net/yyl424525/article/details/98790080
傅里叶变换有一个很大局限性，那就是信号必须满足狄利赫里条件才行，特别是那个绝对可积的条件，一下子就拦截掉了一大批函数。比如函数 就无法进行傅里叶变换。这点难度当然拿不到聪明的数学家们，他们想到了一个绝佳的主意：把不满足绝对的可积的函数乘以一个快速衰减的函数，这样在趋于 时原函数也衰减到零了，从而满足绝对可积。
数学描述：
lim
x
→
+
∞
f
(
x
)
e
−
σ
x
=
0
,
σ
∈
R
\lim_{x \to +\infty}f(x)e^{-\sigma x}=0,\sigma \in R
limx→+∞f(x)e−σx=0,σ∈R
对衰减处理后的函数进行傅里叶变换：
F
(
ω
)
=
∫
0
+
∞
f
(
t
)
e
−
σ
x
e
i
w
t
d
t
=
∫
0
+
∞
f
(
t
)
e
(
−
σ
x
+
i
w
)
t
d
t
F(\omega)=\int^{+\infty}_{0}f(t)e^{-\sigma x}e^{iwt}dt=\int^{+\infty}_{0}f(t)e^{(-\sigma x+iw)t}dt
F(ω)=∫0+∞f(t)e−σxeiwtdt=∫0+∞f(t)e(−σx+iw)tdt
令：
s
=
σ
+
i
ω
s=\sigma + i\omega
s=σ+iω
得：
F
(
s
)
=
∫
0
+
∞
f
(
t
)
e
s
t
d
t
F(s)=\int^{+\infty}_{0}f(t)e^{st}dt
F(s)=∫0+∞f(t)estdt
TODO 最速下降法，牛顿法，共轭梯度法。高斯牛顿法拟牛顿法
欧拉公式
e
i
x
=
c
o
s
x
+
i
s
i
n
x
e^{ix}={\rm cos}x+i{\rm sin}x
eix=cosx+isinx
e
i
t
e^{it}
eit是关于时间的螺线。
将
e
i
t
e^{it}
eit投影到复平面上，都是单位圆
c
o
s
2
x
+
s
i
n
2
x
=
1
{\rm cos}^2x+{\rm sin}^2x=1
cos2x+sin2x=1
向量内积（点乘）和外积（叉乘）
https://www.cnblogs.com/gxcdream/p/7597865.html
内积：求面积、功等。
a
=
[
a
1
,
a
2
,
.
.
.
,
a
n
]
T
,
b
=
[
b
1
,
b
2
,
.
.
.
,
b
n
]
T
a=[a_1,a_2,...,a_n]^{\rm T},b=[b_1,b_2,...,b_n]^{\rm T}
a=[a1,a2,...,an]T,b=[b1,b2,...,bn]T
a
⋅
b
=
a
1
b
1
+
a
2
b
2
+
.
.
.
+
a
n
b
n
a\cdot b=a_1b_1+a_2b_2+...+a_nb_n
a⋅b=a1b1+a2b2+...+anbn
向量内积的几何意义
内积（点乘）的几何意义包括：
- 表征或计算两个向量之间的夹角
- b向量在a向量方向上的投影
有以下公式
a
⋅
b
=
∣
a
∣
∣
b
∣
c
o
s
θ
a\cdot b=|a||b|\rm{cos}\theta
a⋅b=∣a∣∣b∣cosθ
外积 可用于一些磁场定律。
a
=
[
x
1
,
y
1
,
z
1
]
T
,
b
=
[
x
2
,
y
2
,
z
2
]
T
a=[x_1,y_1,z_1]^{\rm T},b=[x_2,y_2,z_2]^{\rm T}
a=[x1,y1,z1]T,b=[x2,y2,z2]T
a
×
b
=
∣
i
j
k
x
1
y
1
z
1
x
2
y
2
z
2
∣
=
(
y
1
z
2
−
y
2
z
1
)
i
−
(
x
1
z
2
−
x
2
z
1
)
j
−
(
x
1
y
2
−
x
2
y
1
)
k
a\times b=\left|\begin{array}{cccc} i & j & k \\ x_1 & y_1 & z_1\\ x_2 & y_2 & z_2 \end{array}\right| = (y_1z_2-y_2z_1)i-(x_1z_2-x_2z_1)j-(x_1y_2-x_2y_1)k
a×b=∣∣∣∣∣∣ix1x2jy1y2kz1z2∣∣∣∣∣∣=(y1z2−y2z1)i−(x1z2−x2z1)j−(x1y2−x2y1)k
向量外积的几何意义
在三维几何中，向量a和向量b的外积结果是一个向量，有个更通俗易懂的叫法是法向量，该向量垂直于a和b向量构成的平面。
在3D图像学中，外积的概念非常有用，可以通过两个向量的外积，生成第三个垂直于a，b的法向量，从而构建X、Y、Z坐标系。如下图所示：
自然数e的由来
https://jingyan.baidu.com/article/0f5fb0991c943d6d8334eadc.html
https://blog.csdn.net/qq_35104368/article/details/83546188
利滚利模式的极限。
有个商人向财主借钱，财主的条件是每借1元，一年后利息是1元，即连本带利还2元，年利率100%。利息好多喔！财主好高兴。财主想，半年的利率为50%，利息是1.5元，一年后还1.5的2次方=2. 25元。半年结一次帐，利息比原来要多。财主又想，如果一年结3次，4次，……，365次，……，岂不发财了？由此引来极限问题：
lim
n
→
∞
(
1
+
1
n
)
n
=
e
\lim\limits_{n\rightarrow\infty}{(1+\frac{1}{n})}^n=e
n→∞lim(1+n1)n=e
e与世界迭代的方式一次，一代一代，e也与等角螺线的函数密切相关，等角螺线是自然界中最常见的螺线。向日葵的和其他一些植物的种子在花盘上排列出的曲线就是等角曲线。
负负为正
http://baijiahao.baidu.com/s?id=1643576746684673955&wfr=spider&for=pc
欧拉对等式(－1)×(－1)=1是作过“证明”的。他的思路是这样的：(－1)×(－1)要么等于1要么等于－1；但通过证明，(－1)×1=－1，所以(－1)×(－1)=1。
复数的意义
有些空间我们人类的大脑并不能以单纯物理或几何的意义去理解，复数域就是用来表示复数的一个空间域，直观只能借用与实数域一致的画法来去理解。就像负数我们无法理解成实物一样，复数的空间我们也无法实际感受到。一个我们想象不出来样子的空间，也像3维以上的空间，存在，但难以想象。
复数与负数的意义相似，用来解释及描述数学问题的。
1.解决负数不能开方，定义
−
1
=
i
\sqrt{-1}=i
−1=i
2.复数的引入具有非常重要的意义 复变函数学就是以虚数i和e构成的学问 当然 其内容非常的深奥 曾经有位数学家认为数学里有5个数 这个5个数构成了整个数学 它们是**
0
,
1
,
e
,
π
,
i
0,1,e,π,i
0,1,e,π,i** 。
非常有意思的是上帝公式
e
π
i
+
1
=
0
e^{πi}+1=0
eπi+1=0 ，我们并非能完全理解其中的含义，只有造物主才知道。
这里就运用了复变函数的感念
泰勒公式的应用原理及意义
泰勒公式用来拟合函数，从而求值。
https://blog.csdn.net/s12117719679/article/details/87883168
设原函数
f
(
x
)
，
f(x)，
f(x)，使用多项式
g
(
x
)
=
a
+
b
x
+
c
x
2
+
.
.
.
g(x)=a+bx+cx^2+...
g(x)=a+bx+cx2+...来拟合原函数，要使
f
(
x
)
=
g
(
x
)
f(x)=g(x)
f(x)=g(x)两条曲线想要一样，那么在某一点的一阶导数，二阶导数，三阶导数，四阶导数…n阶导数也相同，就说这两条曲线是相同的。也就是泰勒展开式的核心思想。
https://blog.csdn.net/The_Time_Runner/article/details/83933594
既然走势可以让人预测曲线上邻接的下一点的大致位置，那么走势的走势便可以相对精确地预测邻接下一点的具体位置，紧接着，走势的走势的走势便可以告诉人们这种趋势可以延续到什么时候，再继续…这似乎超出了人们的想象力…我们还是用简单的数学来表示吧。我们先从1阶导数，2阶导数，3阶导数的几何意义说起。
特征值及特征向量
A
x
=
b
{\rm A}x=b
Ax=b 矩阵A用来表示
x
x
x与
b
b
b的关系
y
=
T
x
y={\rm T}x
y=Tx 矩阵T用来表示
y
y
y与
x
x
x的关系
则可以得出y和b之间的关系矩阵，即
T
A
T
−
1
y
=
b
{\rm TAT}^{-1}y=b
TAT−1y=b
矩阵相似，只是改变了背后的坐标轴。矩阵的意义并没有发生变化。相似矩阵表征的意义是相同的。
特征向量：表征矩阵能表述的空间坐标系对应向量；
特征值：表征矩阵在标准坐标系上的对应系数；
https://blog.csdn.net/hjq376247328/article/details/80640544
特征值对应的特征向量就是理想中标准坐标轴(独立正交)，
特征值就等于数据在旋转之后的坐标上对应维度上的方差。
也就是说，直接求出矩阵A的特征向量得出对应的特征向量。我们就能找到旋转后正确的坐标轴。这个就是特征值和特征向量的一个实际应用：“得出使数据在各个维度区分度达到最大的坐标轴。”
矩阵等价及相似
等价：A矩阵经过一系列出等行列变换，变成矩阵B。
相似：矩阵在不同基下的表示。相似矩阵：各分量长度及各分量之间的夹角一致，如单位矩阵
[
1
0
0
1
]
\left[ \begin{matrix} 1&0\\ 0&1\end{matrix} \right]
[1001]，将坐标系顺时针旋转60，则矩阵表示成为
[
1
2
−
3
3
3
3
1
2
]
\left[ \begin{matrix} 1\over2&-\sqrt3\over3\\ \sqrt3\over3&1\over2\end{matrix} \right]
[21333−321]，两个矩阵相似。
https://www.cnblogs.com/TAL2SCB/p/10437649.html
行列式概括说来有两个解释：
一个解释是行列式就是行列式中的行或列向量所构成的超平行多面体的有向面积或有向体积；
另一个解释是矩阵A的行列式detA就是线性变换A下的图形面积或体积的伸缩因子。
矩阵对角化的意义
把多个耦合的变量尽可能的解耦。
矩阵用来描述两组向量之间的关系，对角化以后这个关系更简单。
将原先耦合的坐标变换解耦成标准正交基。
https://blog.csdn.net/appleyuchi/article/details/99618520
最优化
优化问题，
根据目标函数类型可分为线性优化问题(LP)和非线性优化问题；
根据约束条件可分为：无约束优化问题，等式约束优化问题，不等式约束优化问题。
带约束优化问题
带约束优化问题，目标函数的在极值点的梯度等于积极约束函数梯度的线性组合，即
∇
f
(
x
)
=
+
∑
λ
i
a
i
(
x
)
+
∑
μ
j
a
j
(
x
)
\nabla f(x) = + \sum \lambda_i a_i(x) +\sum \mu_j a_j(x)
∇f(x)=+∑λiai(x)+∑μjaj(x)。可由拉格朗日函数得到。
注意：只有在极值点处满足该条件。
找到积极约束，便会找到极值点
极值点位于积极约束的交点或切点处。
不等式优化问题可转化为等式优化问题，等式优化问题，可通过消元转为无约束优化问题。
拉格朗日乘子法
参考链接 真正理解拉格朗日乘子法
拉格朗日乘子法是将多个条件约束求函数极值的问题转化为普通函数求极值问题。拉格朗日原理：带条件约束求函数极值的极值点一定是条件约束边缘与函数的等值线的切点。
等式约束优化问题
设 求解带约束极值：
m
a
x
f
(
x
,
y
)
;
s
.
t
.
h
(
x
,
y
)
=
0
max f(x, y); s.t. h(x, y) = 0
maxf(x,y);s.t.h(x,y)=0。
两个区域切点(f, h)满足：
1)
h
(
x
,
y
)
=
0
h(x, y) = 0
h(x,y)=0;
2)
∇
f
(
x
,
y
)
=
λ
∇
h
(
x
,
y
)
∇f(x,y)=λ∇h(x,y)
∇f(x,y)=λ∇h(x,y).
简化上述带约束极值问题为：求
L
=
f
(
x
,
y
)
+
λ
h
(
x
,
y
)
L= f(x,y)+λh(x,y)
L=f(x,y)+λh(x,y)的极值问题，求L对λ，x，y分别求偏导，则得
不等式约束优化问题
关于多个约束，多一个等式约束则满足约束的区域会被降一维，如两线相交，则满足约束的就是点集；平面相交成线集。
则等式约束的函数极点则在等式交集与函数等值线的切点。交集的梯度方向是等式约束的梯度的线性组合，与极值函数在该切点的梯度方向在同一直线。
关于不等式约束求极值问题。
到极值点的地方可能有两种情况：
- 不等式约束的可行域边界 和极值函数等值线相切。
- 极值函数的极值点本身就在可行域里面。不等式约束没有起到作用。
第1种情况可以将不等式约束化为等式约束。
第2种情况，则是直接求极值函数的极值点就可以，约束则不具有意义。
多个等式约束与不等式约束优化问题
推广至多个约束等式与约束不等式的情况。考虑标准约束优化问题(或称非线性规划)：
拉格朗日方程：
KKT条件：
条件说明：
- 最优解满足一阶导数=0；
- 最优解满足等式约束；
- 最优解满足不等式约束；
- 不等式保号， h k ( x ) h_k(x) hk(x)有最大值；
- 当最优解本身就在不等式约束边界内，不等式约束没有起到作用，则
h
k
(
x
∗
)
<
0
,
u
k
=
0
h_k(x^*)<0, u_k=0
hk(x∗)<0,uk=0;
u
k
=
0
u_k=0
uk=0使h_k(x^*)不参与1条件。
当最优值处在不等式的边界时，不等式约束为紧约束，则最优解满足 h k ( x ∗ ) = 0 h_k(x^*)=0 hk(x∗)=0。
可行解 & 基本解 & 基本可行解
- 可行解：是满足约束条件的解(满足线性约束，不等式约束)。
- 基本解：基向量(不相关)以外非基向量对应系数为0的解。(基本解是满足线性不等式)。
- 基本解不一定是可行解(不满足不等式约束)。
- 可行解不一定是基本解(对应的列向量有冗余>rank)。
- 最优解是基本可行解中使目标函数达到最优的解。
- 基本可行解，就是即可行解种对应列向量线性无关。
基本解是交点，基本可行解是可行域的顶点。
解释1:
增加n-r个坐标平面，构成n组n维等式。
基本解是满足等式约束的点，满足等式的点，则是各个等式表示平面的交集，因为经常存在系数矩阵行数m<列数n(秩为r)的情况，因此，解不唯一。缺少n-r个超平面方程约束。选定r个线性无关的列系数向量
(
a
0
−
a
r
)
(a_0-a_r)
(a0−ar)，剩下的系数对应的解(x_r+1，x_n)设为0，即去掉
(
a
r
+
1
，
a
n
)
(a_{r+1}，a_n)
(ar+1，an)的影响。此时相当于，添加n-r个坐标轴超平面
(
x
i
=
0
)
(x_i=0)
(xi=0)，此时n个超平面互不平行。基本解是等式代表的超平面与坐标平面构成的点集。
解释2：削去n-r个维度约束，构成m组m维等式。
如果等式约束行满秩 r=m。
基本解的个数为
C
n
m
C^m_n
Cnm。
因此基本解是交点，满足不等式的交点是基本可行解，便是交点。
线性系统的不等式约束
单纯矩阵
https://wenku.baidu.com/view/d3c239f1f90f76c661371a1c.html
单纯形法求解规划问题的基本思路
- 求出一个基可行解(顶点)；
- 最优性检验：判断是否最优解；
- 基变化，转2。要保证目标函数值比原来更优。
单纯形法：
换入基选择，哪个基的影响目标函数最大换入谁；
换出基选择，哪个基最先限制了换入基的值，则换出谁；
原理：非基向量对应的基本解系数都为0，将影响大的向量作为基。
个人推理：
一个等式约束可以理解为多维空间的一个超平面，多一个等式约束，则解集会降一维，如，两个平面交集是直线，3个平面的交集是点。当不等式对一个的列向量不限性相关，且不等式个数=维数，则交集是一点，唯一解集。
二维空间，两直线相交是点。
两直线有交点的前提: 两直线不平行。即两个直线的系数向量线性无关。二维空间，两个向量线性无关，则这两个向量形成的矩阵就满秩。(包含两个维度xy的信息)。
三维空间，三个平面相交是点。
三个平面有交点的前提: 三个平面的系数向量线性无关，即三个系数向量构成的矩阵满秩。(包含三个维度xyz信息)。
因此：
设多维度(超空面)空间的维度为n，多维空间平面有交点的充要条件是n个超平面的系数向量线性无关，也即系数矩阵满秩。
所谓交点一定是n个线性系数向量构成的平面的交集。
对偶问题
举例：
周长一定的矩形中，面积最大的是正方形；
面积一定的矩形中，周长最短的是正方形；
TODOlagrange对偶
https://wenku.baidu.com/view/fd0d1ca95901020206409c5c.html
扫一扫
6056
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
