函数优化
文章平均质量分 72
qq_2773878606
学生
展开
-
线性插值算法
假设我们已知坐标 (x0, y0) 与 (x1, y1),要得到 [x0, x1] 区间内某一位置 x 在直线上的值。根据上图中所示,我们得到假设方程两边的值为 α,那么这个值就是插值系数—从 x0 到 x 的距离与从x0 到 x1 距离的比值。由于 x 值已知,所以可以从公式得到 α 的值同样,这样,在代数上就可以表示为:或者,转载 2015-07-27 10:34:36 · 876 阅读 · 0 评论 -
径向基函数插值(3)二维数据的插值
二维数据的插值过程跟一维数据的过程一样,只不过在显示二维的数据插值的过程中,需要meshgrid函数产生数据,进行显示插入数据的输出值。产生二维数据:clear all; figure;%**************************************************************************% 2D Interpolation%****原创 2015-09-05 21:49:28 · 5340 阅读 · 1 评论 -
径向基函数插值(2)一维数据的插值
假设我们有N组数据(xi,yi),,,,,,,,这时我们根据径向基函数我们的目的主要是找到径向基函数中的位置参数的值,我们要用这些已知数据的值用最小二乘法得到这些参数。。现在我们用一般的方法matlb自带的插值函数进行新值得计算:x = 0:1.25:10; y = sin(x); xi = 0:.1:10; %Matlabyi = interp1(x,y,xi); sub原创 2015-09-05 21:37:40 · 4964 阅读 · 1 评论 -
径向基函数插值(1)
当我们遇到高维的数据,二维或者三维的数据时,由于数据的不完整,需要预测一些数值,一般我们的方法是用曲面重构,曲面重构可分为:1、插值2、逼近曲面插值我们一般使用 径向基插值的方法:RBF (Radial Basis Function)可以看作是一个高维空间中的曲面拟合(逼近)问题,学习是为了在多维空间中寻找一个能够最佳匹配训练数据的曲面,然后来一批新的数据,用刚才训练的那个曲面来处理。原创 2015-09-05 19:38:09 · 13399 阅读 · 7 评论 -
最小二乘问题
1. 引文假设我们要确定一根绳子的弹性,而它的长度与拉力间服从公式,F为拉力,l为绳子在拉力F作用下的长度,e和k为待确定的常数。为此,我们进行一批实验采集如下数据,并绘制其散点图 根据此数据,构造的公式及其矩阵形式为转载 2015-07-23 16:50:24 · 1143 阅读 · 0 评论 -
高斯过程回归
高斯过程回归:回归问题研究的是变量与变量之间的关系,即就是通过建立因变量与自变量的关系,通过建立尽可能的回归函数,在不过拟合的情况下,获得最小均方误差。通过选用不同的协方差核函数,这样看看测试值那个效果更好,至于函数过程中的参数,可以根据极大似然法,测试样本(x,y)的值求出来,测试的时候直接根据x的值就可以得到y的值了原创 2015-07-22 16:12:37 · 5683 阅读 · 3 评论 -
MATLAB 无约束一维极值问题
无约束一维极值问题 极值问题表达式:min f(x) x,x[ x1 x2]; 一维极值的搜索方式包括线性搜索和非线性搜索,线性搜索包含黄金分割法、斐波那契法和牛顿法,非线性方法包含抛物线法和三次样条插值。 1、进退法 算法原理: 进退法就是用来确定搜索区间的算法,理论依据:f(x)为函数有一极值,且【a b】为极值的区间,对于任一x1 和x2属于【a b】原创 2015-08-01 15:19:44 · 1199 阅读 · 0 评论 -
EM算法
EM是我一直想深入学习的算法之一,第一次听说是在NLP课中的HMM那一节,为了解决HMM的参数估计问题,使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数。当x是转载 2015-07-19 15:49:53 · 336 阅读 · 0 评论 -
牛顿法求极大极小值
牛顿法至少有两个应用方向,1、求方程的根,2、最优化。牛顿法涉及到方程求导,下面的讨论均是在连续可微的前提下讨论。 1、求解方程。并不是所有的方程都有求根公式,或者求根公式很复杂,导致求解困难。利用牛顿法,可以迭代求解。原理是利用泰勒公式,在x0处展开,且展开到一阶,即f(x) = f(x0)+(x-x0)f'(x0)求解方程f(x)=0,即f(x0)+(x转载 2015-07-16 09:12:52 · 25345 阅读 · 1 评论 -
矩阵求导公式
矩阵求导:基本公式:Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B'Y = A' * X' * B --> DY/DX = B * A'1. 矩阵Y对标量x求导:相当于每个元素求导数后转置一下,注意M×N矩阵求导后变成N×M了Y = [y(转载 2015-07-16 09:17:33 · 1409 阅读 · 0 评论 -
径向基函数插值(4)三维数据的插值
直接上代码:过程跟一维 二维的一样clear all; figure;%**************************************************************************% 3D Interpolation (takes some time)%************************************************原创 2015-09-05 21:54:45 · 3456 阅读 · 2 评论