算法實現
OGA+ HDIC + Trim
HDIC = (HDBIC / HDHQ)
- 進行Kn次的OGA的迭代,其中Kn是OGA的迭代上限
- 獲得k個回歸因子後,計算高維信息準則HDIC;
- 選擇OGA迭代結束時可以最小化HDIC的k, 1 <= k <= Kn,
- 使用Trim獲得最小的相關數據集合
細節
1.
(1) OGA算法實現
1)使用選擇器(2.1)找到當前的最優變(greedy的思想)
但是我們不使用(2.2)定義 ,在OGA中 定義如下:
對於2.2 使用了線性變換,把
目的是實現預測變量的序列正交化,以便通過逐元素線性回歸來計算OLS(普通最小二乘方法)
可以把選擇出的 投影到之前選出的、且已經正交化的空間,得到
所以,以前選中的空間無法表示的新增空間為
算法流程:
I: 已經選擇了一個變量初始化,hat(y_0(.)) = 0,
II. 進行(2.1)得到x1, x1不需要計算正交;
III 再進行(2.1),得到x2, x2投射到{x1}空間,得到x2_, delta x2 = x2- x2_,(需要申明一點(2.1)的目的是選擇出當前的最優特征,(2.2)或(2.3)的目的是計算當前的最優預測結果,可以用不同的規則計算最優預測結果,(2.3)的正交思想是:模型中每一個因子表示的信息都是其餘因子無法表示的部分ÿ