回归决策树python实现

决策树不仅可以解决分类问题，还可以解决回归问题。在分类问题中，决策树选择特征主要是使用信息增益（交叉熵减少的大小）来衡量特征是否最优，是一种贪心算法。在回归问题中，信息增益的计算采用方差减少的大小来选择特征，方差减少地越大，说明划分该特征后数据更加稳定。交叉熵和方差都是用来衡量数据稳定程度的值。
由于回归问题中需要处理连续的特征，所以需要对每个特征设置划分阈值，根据划分后的样本标签计算方差，然后加权平均，计算思路和分类问题中一样，只不过讲交叉熵换成方差即可。
回归决策树的预测值是叶子节点中样本标签的平均值，误差函数计算决策树预测的数值和实际数值的均方误差。

from sklearn.datasets import load_iris
import numpy as np

class DecisionTree:
    test_rate = None #测试集比例
    X_train = None
    y_train = None
    feature_names = None
    
    def __init__(self, X_train, y_train, test_rate):
        self.test_rate = test_rate
        self.X_train = X_train
        self.y_train = y_train
        
    def train_test_split(self):
        p = np.random.permutation(range(self.X_train.shape[0])) #打乱样本顺序
        test_split = int(self.X_train.shape[0] * self.test_rate) #设置数据集的划分索引值
        
        X_train_new, y_train_new = self.X_train[p[test_split:]], self.y_train[p[test_split:]]
        X_test_new, y_test_new = self.X_train[p[0:test_split]], self.y_train[p[0:test_split]]
        
        #自定义特征名
        self.feature_names = ['a_'+str(i) for i in range(self.X_train.shape[1])]
        
        return X_train_new, y_train_new, X_test_new, y_test_new
    
    #选择每一特征的划分阈值
    def featureChosen(self, X_train, y_train):
        #遍历一列（特征）
        threshold_list = []
        threshold_var_list = []
        for i in range(X_tr