kernel regression

http://people.revoledu.com/kardi/tutorial/Regression/KernelRegression/KernelRegression.htm

线性可分与线性不可分

http://wenda.so.com/q/1365705057068982

简单的说就是如果用一个线性函数可以将两类样本完全分开,就称这些样本是“线性可分”的。

对偶问题http://wenda.so.com/q/1366700593068241

线性规划中的对偶问题 线性规划有一个有趣的特性,就是任何一个求极大的问题都有一个与其匹配的求极小的线性规划问题。 例;原问题为 MAX X=8*Z1+10*Z2+2*Z3 s.t. 2*Z1+1*Z2+3*Z3 〈=70 4*Z1+2*Z2+2*Z3 〈=80 3*Z1+ 1*Z3 〈=15 2*Z1+2*Z2 〈=50 Z1,Z2,Z3 〉=0 Z则其对偶问题为 MIN =70*Y1+80*Y2+15*Y3+50*Y4 s.t 2*y1+4*y2+3*y3+2*y4>=8 1*y1+1*y2+ 1*y4>=10 3*y1+2*y2+1*y3 >=2 y1,y2,y3,y3>=0 可以看出:1、若一个模型为目标求 极大 约束为 小于等于的不等式,则它的对偶模型为目标求极小 约束为极大的不等式 即 “MAX,〈=” “与MIN,〉=”相对应 2、从约束条件系数矩阵来看,一个模型中为A 另一个为A的转质,一个模型是 m个约束n个变量 则他的对偶模型为n个约束 m个变量 3、从数据b c 的位置看 两个规划模型中b和 c的位置对换 即8、10、2 与 70、80、15、50 对换 4、两个规划模型中变量非负。

半正定矩阵

判定一个矩阵半正定

  1、对于半正定矩阵来说,相应的条件应改为所有的主子式非负。顺序主子式非负并不能推出矩阵是半正定的。比如以下例子:
  2、半正定矩阵
  定义:设A是实对称矩阵。如果对任意的实非零列矩阵X有XTAX≥0,就称A为半正定矩阵。
  3、A∈Mn(K)是半正定矩阵的充要条件是:A的
所有主子式大于或等于零。
正定矩阵

正定矩阵在合同变换下可化为标准型, 即单位矩阵

  所有特征值大于零的对称矩阵(或厄米矩阵)也是正定矩阵。

  判定定理1:对称阵A为正定的充分必要条件是:A的特征值全为正。

  判定定理2:对称阵A为正定的充分必要条件是:A的各阶顺序主子式都为正

  判定定理3:任意阵A为正定的充分必要条件是:A合同于单位阵。

  正定矩阵的性质:

  1.正定矩阵一定是非奇异的。非奇异矩阵的定义:若n阶矩阵A的行列式不为零,即 |A|≠0。

  2.正定矩阵的任一主子矩阵也是正定矩阵。

  3.若A为n阶对称正定矩阵,则存在唯一的主对角线元素都是正数的下三角阵L,使得A=L*L′,此分解式称为 正定矩阵的乔列斯基(Cholesky)分解。

Mercer定理
任何半正定对称函数都可以作为核函数。
Hilbert Schmidt理论
非参数回归方法包括:核函数法、最近邻法、样条法、小波法等等。(都有参数选择问题,如窗口宽度问题,平滑参数选择问题!!!)
参数回归与非参数回归的区别是相对的。

对一个时间序列反复出现的趋势进行聚类(采用非参数回归方法——核回归)

1、对时间序列数据集进行自相关分析:一个滞后序列是原始序列的复制,知识讲时间向后移动一个或者多个时间单位,具有最高的自相关系数的滞后期的数值作为窗口大小n;

2、选取前n个值作为第一个聚类;

3、如果没有更多数据,则转到第7步;否则选取下一个n个数据作为第二个聚类,如果这个新的类与前m个聚类其中一个的距离不大于其半径,则把此聚类加入到那个类中,否则执行下一步;

4、找到目前为止的聚类中Si,a值最小的 Ca,

5、Dthr是限制聚类半径的最大值的参数,如果S(i,a)>2 * Dthr,则这是一个新的类簇。调用在第二部中提到的新类构建方法,算法转到第3步;

6、如果S(i,a)<=2 * Dthr,则此新类加入到类Ca中,,其半径更新为S(i,a)/2,聚类中心更新为Cca,CCa与此新类的距离等于新半径。算法转到第3步;

7、结束;














  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值