#理解应用数学#_拔剑-浆糊的传说_新浪博客

理解应用数学

   - 拔剑

一、hugh变换与RANSAC，混杂模型中的局部模型提取

1. Hough：y=F(X,A)，有X的采样，可以看成y=F(A), 而X是已知量，利用每个x投票求解A

                  理论上只要有模型，有足够的采样数据，就可以用hough变换

2. Ransac:  随机抽样拟合，如果内点数超过某个阈值，则认为存在某个局部模型

对比：

（1）两者都可以求取混杂模型中的局部模型，都存在阈值设置问题。

（2）hough变换模型参数越多，投票空间越庞大，复杂度几何级增长；

（3）Ransac的可靠性和样本数和抽样数高度相关，随着样本数量增长，抽样的数字要随之增加，可以用概率模型概算抽样的至少次数；

（4) hough 变换的复杂度更受模型空间的维度的影响，ransac对样本数量更敏感。

二、卷积神经网络之卷积，将全连接简化为局部链接

（1）卷积神经网络之卷积本质上和传统图像处理的滤波算法完全一致；

（2）为什么用卷积，不用全链接？全连接规模太大了啊，考虑到一个图像区域的特征只和局部领域像素相关，因此采用局部关联的卷积可以极大降低模型复杂度，同时提高计算效率。

三、主成分分析，向量的放大和缩小

（1）主成分分析的假设很朴素：最能区分数据、最能将数据分类的某个法向量上数据最分散！而特征值越大，投影放大越大，对数据区分具有放大效应；特征值越小，向量往上面投影受压缩越厉害，越不容易区分开数据。因此，只要找到特征值top-most大的几个法向量对应平面具有最好的分割效果。

（2) 主成分分析，通常需要对数据做归一化，这样保证这种评价权值合理。

四、希尔伯特空间与傅里叶变换，先把物理意义放一边，从正交基、内积、向量合成的角度理解

（1) 希尔伯特空间，以函数建立正交基

（2）以函数计算内积

（3）函数之间的正交

（4）函数正交系构建，如何得到函数正交基的单位基

（5）傅里叶级数，有限自变量对应的无限正交基

（6）傅里叶变换，无限自变脸范围对应的无限正交基

（7）正交基的构建与单位正交基

（8）如何理解傅里叶正变换  --》本质上是已知一个函数（向量），求它在正交基上某个基（每个基）的投影值

             本质上，就是做内积，得到投影长度。               

（9）如何理解傅里叶反变换  --》本质上是向无限正交基所有基向量投影后相加

            相当于向量向某个正交基各分量投影相加，

            即已知一个向量在正交基每个基向量上的投影，通过叠加这些向量求该向量，由于无穷维向量，因此化和为积分。（也可以看成矩阵变换）

（10）为何傅里叶正变换和反变换差系数（2*pi), 为何有不同形式的正反变换公式，为何本质是等价的，原因是啥？

五、一种不严格但是容易理解泰勒展开的方式

六、极大似然估计、最大后验估计、贝叶斯估计

     （1）最大似然估计：模型一致，纯粹利用观测数据来估计模型参数，使得观测数据的概率最大。

              假设概率函数为F（x, U）, 其中u为待估计模型参数，x是观测量（或者事件）， 单次观测概率都是独立的，则N次观测概率为：      

                  F(x_1,x_2,...x_n , U) = F(x_1,U)*F(x_2,U)*F(x_3,U)*....F(x_n, U)

             则最大似然估计本质上要让 F(x_1,x_2,...x_n,U)最大的U，即

                 U = argmax( F(x_1,x_2, x_3, ... x_n, U)

                    = aremax( F(x_1,U) * F(x_2,U) * .... F(x_n,U)

           一般通过对F(...)取对数化成等价问题求取u，即

                 U = argmax(ln(F(x_1,U) + ln(F(x_2,U) + ...., + ln(F(x_n,U)))

         （a)  例子1， 已知某人投硬币100次，其中正面出现了90次，问正面出现的概率

                 假设 正面出现的概率为  theta, ( 即概率函数就是theta, theta即模型参数，即U 为theta）,

                      F(正面,theta） = theta

                      F(反面,theta)    = 1 - theta

                 观测独立，投递100次，出现90次正面概率

                      F(x_1,x_2, x_3, x_4 ,... x_100) = (theta)^90 * （1-theta)^10

                 对数化，取似然函数 

                      U （即theta) = argmax( 90* ln(theta) + 10 * ln( 1 - theta))

                  对u (即theta） 取偏导数

                         90/theta + 10/(1-theta) = 0

                        --> 90 - 90*theta = 10*theta

                        --> theta  = 0.9

                  显然，这个概率和我们直觉一致！

           （b) 讨论2， 假设某个观测量符合正态分布，观测N次，得到

                          x_1, x_2, x_3, ... , x_n

                   求该正态分布参数( 分布中心，方差根）

                   这个高中生都知道如何求解， 

                             分布中心  u = (x_1+x_2+x_3 + ... + x_n) / N 

                              方差sigma  = sqrt(  ((x_1 - u)^2 + (x_2 - u)^2 + ... (x_n - u)^2)) / N )

                   但上述公式怎么来的呢？本质上，就是最大似然估计得到，我们下面简要推导一下，

                   由于博客对公式支持太糟糕了，我们简要描述一下。

                   — 假设正态分布函数 N(x, u, sigma ), 在本题目中 (u,sigma)是待定参数，也就是最大似然估计的量

                   — 则N次独立观测对应概率（此处为概率密度函数）

                          N(x_1,u,sigma) * N(x_2, u, sigma) * N(x_3,u,sigma) * .............. * N(x_N,u,sigma)

                   — 取对数，得到似然函数

                         ln( N(x_1,u,sigma)) + ln( N(x_3,u,sigma)) + ln( N(x_3,u,sigma)) +...+ ln( N(x_N,u,sigma))

                   —  对之求分布中心u的导数

                                 -（x_1 - u) - (x_2 - u) - (x_3 - u) + ........... -( x_N - u) = 0

                                  u = (x_1 + x_2 + .... + x_N) / N

                         显然，就是算术平均值

                   — 同理，对sigma求导数

                            -N/sigma + 累加1到N[ .....    ]/sigma^3 = 0

                        最终有 sigma  = sqrt(  ((x_1 - u)^2 + (x_2 - u)^2 + ... (x_n - u)^2)) / N )