http://people.revoledu.com/kardi/tutorial/Regression/KernelRegression/KernelRegression.htm
线性可分与线性不可分
http://wenda.so.com/q/1365705057068982
简单的说就是如果用一个线性函数可以将两类样本完全分开,就称这些样本是“线性可分”的。
对偶问题http://wenda.so.com/q/1366700593068241
线性规划中的对偶问题 线性规划有一个有趣的特性,就是任何一个求极大的问题都有一个与其匹配的求极小的线性规划问题。 例;原问题为 MAX X=8*Z1+10*Z2+2*Z3 s.t. 2*Z1+1*Z2+3*Z3 〈=70 4*Z1+2*Z2+2*Z3 〈=80 3*Z1+ 1*Z3 〈=15 2*Z1+2*Z2 〈=50 Z1,Z2,Z3 〉=0 Z则其对偶问题为 MIN =70*Y1+80*Y2+15*Y3+50*Y4 s.t 2*y1+4*y2+3*y3+2*y4>=8 1*y1+1*y2+ 1*y4>=10 3*y1+2*y2+1*y3 >=2 y1,y2,y3,y3>=0 可以看出:1、若一个模型为目标求 极大 约束为 小于等于的不等式,则它的对偶模型为目标求极小 约束为极大的不等式 即 “MAX,〈=” “与MIN,〉=”相对应 2、从约束条件系数矩阵来看,一个模型中为A 另一个为A的转质,一个模型是 m个约束n个变量 则他的对偶模型为n个约束 m个变量 3、从数据b c 的位置看 两个规划模型中b和 c的位置对换 即8、10、2 与 70、80、15、50 对换 4、两个规划模型中变量非负。
半正定矩阵
判定一个矩阵半正定
2、半正定矩阵
定义:设A是实对称矩阵。如果对任意的实非零列矩阵X有XTAX≥0,就称A为半正定矩阵。
3、A∈Mn(K)是半正定矩阵的充要条件是:A的 所有主子式大于或等于零。
正定矩阵在合同变换下可化为标准型, 即单位矩阵。
判定定理1:对称阵A为正定的充分必要条件是:A的特征值全为正。
判定定理2:对称阵A为正定的充分必要条件是:A的各阶顺序主子式都为正。
判定定理3:任意阵A为正定的充分必要条件是:A合同于单位阵。
正定矩阵的性质:
1.正定矩阵一定是非奇异的。非奇异矩阵的定义:若n阶矩阵A的行列式不为零,即 |A|≠0。
2.正定矩阵的任一主子矩阵也是正定矩阵。
3.若A为n阶对称正定矩阵,则存在唯一的主对角线元素都是正数的下三角阵L,使得A=L*L′,此分解式称为 正定矩阵的乔列斯基(Cholesky)分解。
Mercer定理对一个时间序列反复出现的趋势进行聚类(采用非参数回归方法——核回归):
1、对时间序列数据集进行自相关分析:一个滞后序列是原始序列的复制,知识讲时间向后移动一个或者多个时间单位,具有最高的自相关系数的滞后期的数值作为窗口大小n;
2、选取前n个值作为第一个聚类;
3、如果没有更多数据,则转到第7步;否则选取下一个n个数据作为第二个聚类,如果这个新的类与前m个聚类其中一个的距离不大于其半径,则把此聚类加入到那个类中,否则执行下一步;
4、找到目前为止的聚类中Si,a值最小的 Ca,
5、Dthr是限制聚类半径的最大值的参数,如果S(i,a)>2 * Dthr,则这是一个新的类簇。调用在第二部中提到的新类构建方法,算法转到第3步;
6、如果S(i,a)<=2 * Dthr,则此新类加入到类Ca中,,其半径更新为S(i,a)/2,聚类中心更新为Cca,CCa与此新类的距离等于新半径。算法转到第3步;
7、结束;