CART回归树生成过程中切分变量和切分点的理解

简单描述

• 在cart回归树的生成过程中，我们需要对输入空间进行划分，使用启发式的方法：选择第$j$个变量$x^j$和它的取回$s$，作为切分变量和切分点，并定义两个区域： R 1 ( j , s ) = { x ∣ x j ≤ s } R_1(j,s)=\{x|x^j\le s\} R1​(j,s)={x∣xj≤s}和 R 2 ( j , s ) = { x ∣ x j > s } R_2(j,s)=\{x|x^j>s\} R2​(j,s)={x∣xj>s}
• 这里主要解释$j$和$s$；对于给定的训练数据 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } D=\{(x_1,y_1),(x_2,y_2),... ,(x_N,y_N)\} D={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}我们会依次选择$x_1$到$x_N$作为切分变量，但我们的关注点并不在$x_k$上，而是在它的取值$s$上，$s$作为切分点，是用来切分$x$的。选定一个$x_k$就对应一个$s$我们讲所有的变量$x_k$通过和此时的$s$作比较，划分为两部分。
• 当然每一次我们需要遍历所有的$(j,s)$根据损失函数找到损失函数最小时对应的$(j,s)$；然后不断迭代。