荣耀9从服务器检索信息时出错,搜索结果

前文链接：https://write-bug.com/article/2666.html

决策树决策树(decision tree)是一种基本的分类与回归方法，模型：树结构

主要有两大类算法：ID3 、C4.5

学过数据结构的都知道，一棵树由节点node和有向边directed edge 构成，而节点又有几个名词：根节点、父节点、子节点、叶子节点

这里我们用各个节点表示特征(如年龄)，边表示特征属性(如青年、老年)，叶子节点表示label(如买、不买)

用决策树分类时，来了一个人根据他的特征，对某一特征进行比对，将其分到对应的子节点继续比对，直到到达叶子节点，得到预测label

特征维度：年龄、收入、信誉、学生

现在假设每个人都有这四类特征的数据，如何用一颗树来对这些人做一个是否购买的分类，也就是落地到某个叶子节点，那用哪个特征来做根节点父节点子节点呢?有很多组合方式。

首先处理训练数据：

数据特征值离散化：0 1 2 ……编码

我们在进行特征选择时，要选择对训练数据具有分类能力的特征，以提高决策树的学习效率，决定了用哪个特征来划分特征空间，如果利用一个特征进行分类的结果和随即分类的结果没有差别，那么这个特征没有分类能力，而特征选择的准则就是信息增益与信息增益率，从而引出了ID3与C4.5算法

ID3ID3的特征选择就是利用信息增益来进行选择，这也是我们前面提到的到底用哪个特征作为根节点哪个特征作为子节点构建树呢？

说到信息增益，这里介绍几个概念：

熵=随机变量的不确定性

条件熵=在一定条件下，随机变量的不确定性

信息增益=熵-条件熵 在一定条件下，信息不确定性减少的程度

我们通常使用H(X)符号代表随机变量X的熵：

H(X)=E(I(X))E代表期望值函数，I(X)代表随机变量X的自信息量。

不确定性函数I称为事件的信息量，事件X发生概率p的单调递减函数：

𝐼(X) = 𝑙𝑜𝑔(1/ 𝑝)=−𝑙𝑜𝑔 𝑝

信息熵：一个信源中，不能仅考虑单一事件发生的不确定性，需要考虑所有可能情况的平均不确定性，为−𝑙𝑜𝑔 𝑝 的统计平均值E

𝐻 (X) = 𝐸 [−𝑙𝑜𝑔 (𝑝 (x𝑖))] = −∑𝑖 𝑝(x𝑖 )𝑙𝑜𝑔 (𝑝 (x𝑖))这里的熵可以理解为混乱度，数据混乱度越大，熵取值越大，随机变量的不确定性越大

如果H=0或1，说明数据为纯净的，一定为买或不买，而H=0.5时，混乱度最大

伯努利分布时熵与概率的关系

选择特征做父节点：选择熵最大(混乱程度最大)的特征

例：

ID3 完全用熵的概念：信息增益

原始数据，无条件下的熵：

label=买+不买=1024个p买=640/1024=0.635p不买 = 384/1024=0.375根据信息熵公式

H=-∑p log(p)H=0.9544那么在年龄条件下的条件熵：

P青年=384/1024=0.375青年分为买和不买：

p买=128/384p不买=256/384S=384H=0.9183同理：中年：由于都是买的，所以H=0老年：H=0.9157

年龄的三个信息熵得到了，那如何使用呢，我们对年龄求平均期望：

平均值=占比\*信息熵E(年龄)=0.375*0.9183+0.25*0+0.375*0.9157=0.6877这个年龄作为区分的话，可以带来0.6877的增益G(年龄)=0.9544-0.6877=0.2667 为信息增益同理

E(学生)=0.7811 G(学生)=0.1733

E(收入)=0.9361 G(收入)=0.0183

E(信誉)=0.9048 G(信誉)=0.0496

从上述可以看出，按照年龄划分，收益是最大的，信息增益最大，所以年龄作为根节点,同理，从而构建整颗树.

所以我们构建一个attrList特征列表作为一个容器存放特征，无放回的取特征

如果取完了特征，构建出了树，但是叶子节点还是不是纯净的怎么办呢？

分类问题：少数服从多数

回归问题：概率比较

缺点：因为优先选择信息增益最大的，所以导致倾向于选择属性值较多的

贪婪性：选择收益最大的

贪婪不是最优的算法，可能觉得本次收益最大，但从长远看收益没那么大

奥卡姆剃刀原理：尽量用最少的东西做最多的事

用最少的特征，区分类别，不需要所有特征都用，用最简单的方式效果最好，最优的树

不适用于连续变量：离散型特征属性如果是身高这种线性连续的特征，对应过多类别特征，应离散化使用

Pseudocode:

ID3 (Examples, Target_Attribute, Attributes) Create a root node for the tree If all examples are positive, Return the single-node tree Root, with label = +. If all examples are negative, Return the single-node tree Root, with label = -. If number of predicting attributes is empty, then Return the single node tree Root, with label = most common value of the target attribute in the examples. Otherwise Begin A ← The Attribute that best classifies examples. Decision Tree attribute for Root = A. For each possible value, vi, of A, Add a new tree branch below Root, corresponding to the test A = vi. Let Examples(vi) be the subset of examples that have the value vi for A If Examples(vi) is empty Then below this new branch add a leaf node with label = most common target value in the examples Else below this new branch add the subtree ID3 (Examples(vi), Target_Attribute, Attributes – {A}) End Return RootID3实践：

class ID3DTree(object): def __init__(self): self.tree={} self.dataSet=[] self.labels=[] def loadDataSet(self,path,labels): recordlist = [] fp = open(path,"r") # 读取文件内容 content = fp.read() fp.close() rowlist = content.splitlines() # 按行转换为一维表 recordlist=[row.split("\t") for row in rowlist if row.strip()] self.dataSet = recordlist self.labels = labels def train(self): labels = copy.deepcopy(self.labels) self.tree = self.buildTree(self.dataSet,labels) # 创建决策树主程序 def buildTree(self,dataSet,labels): cateList = [data[-1] for data in dataSet] # 抽取源数据集的决策标签列 # 程序终止条件1 : 如果classList只有一种决策标签，停止划分，返回这个决策标签 if cateList.count(cateList[0]) == len(cateList): return cateList[0] # 程序终止条件2: 如果数据集的第一个决策标签只有一个 返回这个决策标签 if len(dataSet[0]) == 1: return self.maxCate(cateList) # 算法核心： bestFeat = self.getBestFeat(dataSet) # 返回数据集的最优特征轴： bestFeatLabel = labels[bestFeat] tree = {bestFeatLabel:{}} del(labels[bestFeat]) # 抽取最优特征轴的列向量 uniqueVals = set([data[bestFeat] for data in dataSet]) # 去重 for value in uniqueVals: subLabels = labels[:] #将删除后的特征类别集建立子类别集 splitDataset = self.splitDataSet(dataSet, bestFeat, value) # 按最优特征列和值分割数据集 subTree = self.buildTree(splitDataset,subLabels) # 构建子树 tree[bestFeatLabel][value] = subTree return tree def maxCate(self,catelist): # 计算出现最多的类别标签 items = dict([(catelist.count(i), i) for i in catelist]) return items[max(items.keys())] def getBestFeat(self,dataSet): # 计算特征向量维，其中最后一列用于类别标签，因此要减去 numFeatures = len(dataSet[0]) - 1 # 特征向量维数 = 行向量维度-1 baseEntropy = self.computeEntropy(dataSet) # 基础熵：源数据的香农熵 bestInfoGain = 0.0; # 初始化最优的信息增益 bestFeature = -1 # 初始化最优的特征轴 # 外循环：遍历数据集各列,计算最优特征轴 # i 为数据集列索引：取值范围 0~(numFeatures-1) for i in range(numFeatures): # 抽取第i列的列向量 uniqueVals = set([data[i] for data in dataSet]) # 去重：该列的唯一值集 newEntropy = 0.0 # 初始化该列的香农熵 for value in uniqueVals: # 内循环：按列和唯一值计算香农熵 subDataSet = self.splitDataSet(dataSet, i, value) # 按选定列i和唯一值分隔数据集 prob = len(subDataSet)/float(len(dataSet)) newEntropy += prob * self.computeEntropy(subDataSet) infoGain = baseEntropy - newEntropy # 计算最大增益 if (infoGain > bestInfoGain): # 如果信息增益>0; bestInfoGain = infoGain # 用当前信息增益值替代之前的最优增益值 bestFeature = i # 重置最优特征为当前列 return bestFeature def computeEntropy(self,dataSet): # 计算香农熵 datalen = float(len(dataSet)) cateList = [data[-1] for data in dataSet] # 从数据集中得到类别标签 items = dict([(i,cateList.count(i)) for i in cateList]) # 得到类别为key，出现次数value的字典 infoEntropy = 0.0 # 初始化香农熵 for key in items: # 计算香农熵 prob = float(items[key])/datalen infoEntropy -= prob * math.log(prob,2) # 香农熵：= - p*log2(p) --infoEntropy = -prob * log(prob,2) return infoEntropy # 分隔数据集：删除特征轴所在的数据列，返回剩余的数据集 # dataSet：数据集; axis：特征轴; value：特征轴的取值 def splitDataSet(self, dataSet, axis, value): rtnList = [] for featVec in dataSet: if featVec[axis] == value: rFeatVec = featVec[:axis] # list操作 提取0~(axis-1)的元素 rFeatVec.extend(featVec[axis+1:]) # list操作 将特征轴(列)之后的元素加回 rtnList.append(rFeatVec) return rtnList def predict(self,inputTree,featLabels,testVec): # 分类器 root = list(inputTree.keys())[0] # 树根节点 secondDict = inputTree[root] # value-子树结构或分类标签 featIndex = featLabels.index(root) # 根节点在分类标签集中的位置 key = testVec[featIndex] # 测试集数组取值 valueOfFeat = secondDict[key] # if isinstance(valueOfFeat, dict): classLabel = self.predict(valueOfFeat, featLabels, testVec) # 递归分类 else: classLabel = valueOfFeat return classLabel # 存储树到文件 def storeTree(self,inputTree,filename): fw = open(filename,'w') pickle.dump(inputTree,fw) fw.close() # 从文件抓取树 def grabTree(self,filename): fr = open(filename) return pickle.load(fr)C4.5C4.5 用的是信息增益率的概念

由上面，我们的信息增益:

𝐺𝑎𝑖𝑛 (𝑆,𝐴)= 𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝑆) − ∑𝑣∈𝑉𝑎𝑙𝑢𝑒(𝐴) |𝑆𝑣|/ |𝑆| 𝐸𝑛𝑡𝑟𝑜𝑝𝑦 (𝑆𝑣)信息增益率：

𝐺𝑎𝑖𝑛𝑅𝑎𝑡𝑖𝑜 𝐴 =𝐺𝑎𝑖𝑛(𝐴) / 𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝐴)比原来多除了一个entropy(A)：属性背后的信息熵

比如：前面的信息增益G(年龄)=0.9544-0.6877=0.2667

𝐺𝑎𝑖𝑛𝑅𝑎𝑡𝑖𝑜 𝐴=0.2667/0.6877除以一个信息熵有什么好处呢？

如果只考虑信息增益的话，我们没有考虑A集合背后的大小，A越大也就意味着集合越混乱的可能性越高，那么C4.5考虑到了这种情况，给集合的混乱度做一个中和

C4.5实践：

class C45DTree(object): def __init__(self): self.tree={} self.dataSet=[] self.labels=[] def loadDataSet(self,path,labels): recordlist = [] fp = open(path,"r") content = fp.read() fp.close() rowlist = content.splitlines() recordlist=[row.split("\t") for row in rowlist if row.strip()] self.dataSet = recordlist self.labels = labels def train(self): labels = copy.deepcopy(self.labels) self.tree = self.buildTree(self.dataSet,labels) def buildTree(self,dataSet,labels): cateList = [data[-1] for data in dataSet] if cateList.count(cateList[0]) == len(cateList): return cateList[0] if len(dataSet[0]) == 1: return self.maxCate(cateList) bestFeat, featValueList = self.getBestFeat(dataSet) bestFeatLabel = labels[bestFeat] tree = {bestFeatLabel:{}} del(labels[bestFeat]) for value in featValueList: subLabels = labels[:] splitDataset = self.splitDataSet(dataSet, bestFeat, value) subTree = self.buildTree(splitDataset,subLabels) tree[bestFeatLabel][value] = subTree return tree def maxCate(self,catelist): items = dict([(catelist.count(i), i) for i in catelist]) return items[max(items.keys())] def getBestFeat(self, dataSet): Num_Feats = len(dataSet[0][:-1]) totality = len(dataSet) BaseEntropy = self.computeEntropy(dataSet) ConditionEntropy = [] # 初始化条件熵 splitInfo = [] # for C4.5, calculate gain ratio allFeatVList=[] for f in range(Num_Feats): featList = [example[f] for example in dataSet] [splitI,featureValueList] = self.computeSplitInfo(featList) allFeatVList.append(featureValueList) splitInfo.append(splitI) resultGain = 0.0 for value in featureValueList: subSet = self.splitDataSet(dataSet, f, value) appearNum = float(len(subSet)) subEntropy = self.computeEntropy(subSet) resultGain += (appearNum/totality)*subEntropy ConditionEntropy.append(resultGain) # 总条件熵 infoGainArray = BaseEntropy*ones(Num_Feats)-array(ConditionEntropy) infoGainRatio = infoGainArray/array(splitInfo) # c4.5, info gain ratio bestFeatureIndex = argsort(-infoGainRatio)[0] return bestFeatureIndex, allFeatVList[bestFeatureIndex] def computeSplitInfo(self, featureVList): numEntries = len(featureVList) featureVauleSetList = list(set(featureVList)) valueCounts = [featureVList.count(featVec) for featVec in featureVauleSetList] # caclulate shannonEnt pList = [float(item)/numEntries for item in valueCounts ] lList = [item*math.log(item,2) for item in pList] splitInfo = -sum(lList) return splitInfo, featureVauleSetList def computeEntropy(self,dataSet): datalen = float(len(dataSet)) cateList = [data[-1] for data in dataSet] items = dict([(i,cateList.count(i)) for i in cateList]) infoEntropy = 0.0 for key in items: prob = float(items[key])/datalen infoEntropy -= prob * math.log(prob,2) return infoEntropy def splitDataSet(self, dataSet, axis, value): rtnList = [] for featVec in dataSet: if featVec[axis] == value: rFeatVec = featVec[:axis] rFeatVec.extend(featVec[axis+1:]) rtnList.append(rFeatVec) return rtnList # 树的后剪枝 # testData: 测试集 def prune(tree, testData): pass def predict(self,inputTree,featLabels,testVec): root = list(inputTree.keys())[0] secondDict = inputTree[root] featIndex = featLabels.index(root) key = testVec[featIndex] valueOfFeat = secondDict[key] # if isinstance(valueOfFeat, dict): classLabel = self.predict(valueOfFeat, featLabels, testVec) else: classLabel = valueOfFeat return classLabel def storeTree(self,inputTree,filename): fw = open(filename,'w') pickle.dump(inputTree,fw) fw.close() def grabTree(self,filename): fr = open(filename) return pickle.load(fr)之前的ID3和C4.5停止条件都是结点数据类型一致(即纯净)，要不就是没有特征可以选择了，但是只有这两个条件限制，在特征多树学习过深的情况下，模型容易过拟合

防止过拟合:

停止条件：信息增益(比例)增长低于阈值，则停止

– 阈值需要调校 将数据分为训练集和测试集

– 测试集上错误率增长，则停止

剪枝：

相邻的叶子节点，如果合并后不纯度增加在允许范围内，则合并

测试集错误率下降，则合并 等等

sklearn- tree实践：

from sklearn.tree import DecisionTreeRegressor# Fit regression modelregr_2 = DecisionTreeRegressor(max_depth=10)#深度阈值print >> sys.stderr, 'begin train ==============='regr_2.fit(X, y)print >> sys.stderr, 'begin predict ==============='# Predicty_2 = regr_2.predict(X_test)for p_label in y_2: print p_label #输出预测标签(回归值)print >> sys.stderr, 'end ==============='多分类用MSE做评估：

import sysfrom sklearn import metricsimport numpy as npimport randomres_file = sys.argv[1]y_test = []y_pred = []with open(res_file, 'r') as fd: for line in fd: ss = line.strip().split('\t') if len(ss) != 2: continue t_label = float(ss[0].strip()) p_label = float(ss[1].strip()) y_test.append(t_label) y_pred.append(p_label)print "MSE:",metrics.mean_squared_error(y_test, y_pred)print "RMSE:",np.sqrt(metrics.mean_squared_error(y_test, y_pred))模型融合Ensemble Learning(集成学习)什么是集成学习呢？假设我有多个模型，每个模型的学习准确率都是80%，或者说每个模型的准确率有学习好的有学习坏的，这时就有很多数据没有预估正确，那么我使用多个模型来共同决策，少数服从多数，通过这种方式提升准确率，把多个弱分类器集成获得一个强分类器。

集成学习里面有两类算法：Bagging和Boosting算法

Bagging算法是以random forest随机森林为代表的算法

Boosting算法是以AdaBoost算法和Gbdt为代表的算法

通过介绍我们知道这是将多个模型融合，得到一个强模型的方法，那么我们是如何证明这种方式是否靠谱呢？

用数学上的排列组合问题表示，假设二分类问题有5个精确度为70%的弱分类器，相互独立

采用投票的方式将5个分类器的结果进行集成：

𝐶5 3(0.73)(0.32)+ 𝐶5 4(0.74)(0.31)+ 𝐶5 5(0.71) = 10(.7^3)(.3^2)+5(.7^4)(.3)+(.7^5) = 83.7%如果有101个分类器，精确度就可以提升到99.9%

问题：如何得到不同的分类器，并且尽量独立？ (每个模型不尽相同，不相互影响)

方法：将一个复杂的学习问题，分解成多个简单的学习问题

Bagging– 对训练数据采样，得到多个训练集，分别训练模型

– 对得到的多个模型进行平均 分类问题：投票方式进行集成 回归问题：模型的输出进行平均

训练：同一训练数据随机抽取数据并行用不同的机器和模型同时训练

测试：对模型预测出的各个分数进行投票或者平均

适合弱分类器(容易过拟合，效果一般)：

不稳定：随机采样会得到较不同的分类器，每个基分类器准确率略高于50%

例如：决策树

不适合强分类器(本身准确率高，效果较好) ：

稳定：随机采样对结果影响不大

甚至可能不如不集成，每个基分类器只有更少的训练样本

例如：DNN(模型复杂时，时间成本大并且容易过拟合，为了抗过拟合，最有效的办法就是让训练数据越大越好，和bagging的选取数据思想不同)

Random Forest

Random Forest = Bagging+决策树

随机森林生成方法：

– 从样本集中通过重采样的方式产生n个样本

– 建设样本特征数目为a，对n个样本选择a中的k个特征，用建立决策树的方式获得最佳分割点

– 重复m次，产生m棵决策树

– 多数投票机制进行预测

每棵树样本不同，选择特征可能不同，形成树的形状、深度都不同。

优点：

训练速度快、容易实现并行

训练完成后，反馈哪些是重要特征(类似LR中的特征权重，这里的决策树靠信息熵筛选)

抗过拟合能力强 (多棵树抗过拟合)

可解决分类、回归问题

不平衡数据集，rf是平衡误差有效方法

缺点：

取值较多的属性，影响大

噪音大的分类、回归问题会过拟合

只能尝试参数和种子的选择，无法洞悉内部

Boosting每个基分类器，基于之前的分类结果，已经分对的样本不用太多关心，集中力量对付分错样本，不等权投票，好的基分类器权重大

– 对训练数据集进行采样，对错分样本加权采样

– 多个模型按照分类效果加权融合

训练：同一训练数据随机抽取数据串行用不同的机器和模型进行训练，首先模型一学习预估评分后，对出错的样本，提高采样权重，用模型二再次随机抽取数据，这时由于出错样本采样权重提高重点会放在出错的样本上，以此类推串行迭代下去

测试：对各个模型预测出的各个分数乘以对应的错误率权重公式相加

Boosting方法的两类思想：

传统Boost→ Adaboost：对正确、错分样本加权，每步的迭代，错误样本加权，正确样本降权

Gradient Boosting：每次建模建立在之前模型损失函数的梯度下降方向

Adaboost

对不同的模型分数加权求和，错误样本加权，正确样本降权

给数据中的每一个样本一个权重

训练数据中的每一个样本，得到第一个分类器

计算该分类器的错误率，根据错误率计算要给分类器分配的权重(注意这里是分类器的权重) 即前面表示的每个模型预估后的分数乘对应的分类器权重求和

错误率：𝜀 =未正确分类的样本数目/ 所有样本数目 分类器权重： 𝛼 =1/ 2 ln((1 – 𝜀)/ 𝜀)

将第一个分类器分错误的样本权重增加，分对的样本权重减小(注意这里是样本的权重)

错分样本权重：𝐷𝑖^ (𝑡+1) = 𝐷𝑖 ^(𝑡)𝑒^𝑎 /𝑆𝑢𝑚(𝐷),Di^t表示上一次样本的权重,分母：训练集的规模，样本个数

正确样本权重：𝐷𝑖^ (𝑡+1) = 𝐷𝑖^ (𝑡)𝑒^(−𝑎) / 𝑆𝑢𝑚(𝐷)

然后再用新的样本权重训练数据，得到新的分类器，到步骤3

直到步骤3中分类器错误率为0，或者到达迭代次数

将所有弱分类器加权求和，得到分类结果(注意是分类器权重)

GBDT(Gradient Boosting Decision Tree)

是一种迭代的决策树算法，该算法由多棵决策树组，所有树的结论累加起来做最终答案

三个概念组成：

– Regression Decistion Tree(DT、RT)

– Gradient Boosting(GB)

– Shrinkage(步长)

分类树：衡量标准最大熵——预测分类标签值

回归树：衡量标准是最小化均方差——预测实际数值

GBDT中的树，属于回归树，不是分类树 – 要求所有树的结果进行累加是有意义的 – GBDT是结果累加，而不是多数投票

GBDT核心： – 每一棵树学的是之前所有树结论和的残差 – 残差就是一个加预测值后能得真实值的累加量

残差是什么？

因为是回归树，那么我的节点值应该是这个节点的平均值即预估值，那么来了一个人落在左边这个节点就是15岁，但是对于某些人预估的大了，有的预估的小了，那我把残差整理成新的样本再建一棵树重新学习，尽量把残差学没了，就像以前的误差值，尽力把它学为0

这里同样的，特征选择时也是利用信息熵的方式。

残差是学习的最优方向，体现了Gradient

Gradient Descend梯度下降实际上是在更新参数，并且最终参数等于每次迭代的增量的累加和：

𝜃𝑡 = 𝜃𝑡−1 + 𝜃𝑡𝜃𝑡 = −𝑎𝑡𝑔𝑡 参数更新方向为负梯度方向𝜃 =∑𝜃𝑡 最终参数等于每次迭代的增量的累加和， 𝜃0为初值而Gradient Boost是在更新整个函数

𝑓𝑡 𝑥 = 𝑓𝑡−1 𝑥 + 𝑓𝑡 (𝑥)𝑓𝑡(𝑥) = −𝑎𝑡𝑔𝑡(𝑥) 类似地，拟合了负梯度𝐹(𝑥) = ∑𝑓𝑡(𝑥) 最终参数等于每次迭代的增量的累加和 𝑓0(𝑥)为模型初值，通常为函数所以，Boosting是一种加法模型GBDT模型F定义为加法模型

𝐹 (𝑥;𝑤) = ∑𝑎𝑡 ℎ𝑡(𝑥;𝑤𝑡)= 𝑓𝑡(𝑥;𝑤𝑡)x为输入样本，h为分类回归树，w是分类回归树的参数，a是每棵树的权重

2.1的公式是loss值更新函数预估值，2.2是求残差

但是这样的加法模式比较容易过拟合，这就涉及到了Shrinkage缩减技术：

思想：每棵树只学到了真理的一小部分，累加的时候只累加一小部分，通过多学几棵树弥补不足

假设： yi表示第i棵树上y的预测值， y(1~i)表示前i棵树y的综合预测值

没有shrinkage时：

– y(i+1) = 残差(y1~yi)， 其中： 残差(y1~yi) = y真实值 - y(1 ~ i)

– y(1 ~ i) = SUM(y1, …, yi)

有shrinkage时：

– 第2个方程调整为：y(1 ~ i) = y(1 ~ i-1) + step /* yi

即对每次的结果都乘一个权重

仍然以残差作为学习目标，但对于残差的学习，每次只累加一小部分(step残差)逐步逼近目标

本质上，Shrinkage为每棵树设置了一个weight，累加时要乘以这个weight

偏差、方差

偏差bias：模型不准确

尽量选择正确模型与复杂度

模型越简单，预估能力越差，偏差越大，方差越低

方差variance：模型不稳定

防止过拟合

我们的模型融合是可以同时把方差与偏差同时降低的方法。

RF实践：

sklearn - rf：

测试数据：

import sysimport numpy as npimport matplotlib.pyplot as pltimport pandas as pd# Importing the datasetsdatasets = pd.read_csv('Position_Salaries.csv')#pandas自动解析读取X = datasets.iloc[:, 1:2].values #级别Y = datasets.iloc[:, 2].values #金额# Fitting the Regression model to the datasetfrom sklearn.ensemble import RandomForestRegressorregressor = RandomForestRegressor(n_estimators = 300, random_state = 0)#300颗树regressor.fit(X,Y)# Predicting a new result with the Random Forest RegressionY_Pred = regressor.predict([[6.5]])print(Y_Pred)# Visualising the Random Forest Regression results in higher resolution and smoother curveX_Grid = np.arange(min(X), max(X), 0.01)X_Grid = X_Grid.reshape((len(X_Grid), 1))plt.scatter(X,Y, color = 'red')plt.plot(X_Grid, regressor.predict(X_Grid), color = 'blue')plt.title('Random Forest Regression Results')plt.xlabel('Position level')plt.ylabel('Salary')plt.show()output:

pyspark-mllib-rf:

测试数据：

#coding=utf8from __future__ import print_functionimport sysfrom pyspark import SparkContext, SparkConffrom pyspark.mllib.regression import LabeledPointfrom pyspark.mllib.feature import HashingTF,IDF,StandardScalerfrom pyspark.mllib.classification import LogisticRegressionWithSGD,SVMWithSGD,NaiveBayesfrom pyspark.mllib.tree import DecisionTreefrom pyspark.mllib.tree import RandomForest, RandomForestModelfrom pyspark.mllib.util import MLUtilsreload(sys)sys.setdefaultencoding('utf-8')if __name__ == "__main__": #conf = SparkConf().setMaster("spark://master:7077").setAppName("lr_pyspark_test") conf = SparkConf().setMaster("local").setAppName("lr_pyspark_test") sc = SparkContext(conf=conf) #in_file = sc.textFile("file:///root/spark_test_5/pyspark_test/lr_pyspark_test/data/a8a") data = MLUtils.loadLibSVMFile(sc, "file:///root/spark_test_5/pyspark_test/lr_pyspark_test/data/a8a") (trainingData, testData) = data.randomSplit([0.7, 0.3]) model = RandomForest.trainClassifier(\ trainingData, numClasses=2, \ categoricalFeaturesInfo={},\ numTrees=3, \ featureSubsetStrategy="auto",\ impurity='gini', maxDepth=4, maxBins=32)#3颗树，gini系数方式 predictions = model.predict(testData.map(lambda x: x.features)) labelsAndPredictions = testData.map(lambda lp: lp.label).zip(predictions) testErr = labelsAndPredictions.filter(lambda (v, p): v != p).count() / float(testData.count()) print('Test Error = ' + str(testErr)) print('Learned classification forest model:') print(model.toDebugString()) ## Save and load model #model.save(sc,"target/tmp/myRandomForestClassificationModel") #sameModel = RandomForestModel.load(sc, "target/tmp/myRandomForestClassificationModel") sc.stop()GBDT实践：

微软lightgbm方式：

import sysimport lightgbm as lgb #pip安装import numpy as npfrom scipy.sparse import csr_matriximport pandas as pdfrom sklearn.metrics import mean_squared_errorfrom sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_splitfrom sklearn.datasets import make_classificationdata_in = 'D:\\bd\\share_folder\\a9a'def load_data(): target_list = [] fea_row_list = [] fea_col_list = [] data_list = [] row_idx = 0 max_col = 0 with open(data_in, 'r') as fd: for line in fd: ss = line.strip().split(' ') label = ss[0] fea = ss[1:] target_list.append(int(label)) for fea_score in fea: sss = fea_score.strip().split(':') if len(sss) != 2: continue feature, score = sss fea_row_list.append(row_idx) fea_col_list.append(int(feature)) data_list.append(float(score)) if int(feature) > max_col: max_col = int(feature) row_idx += 1 row = np.array(fea_row_list) col = np.array(fea_col_list) data = np.array(data_list) fea_datasets = csr_matrix((data, (row, col)), shape=(row_idx, max_col + 1)) x_train, x_test, y_train, y_test = train_test_split(fea_datasets, target_list, test_size=0.2, random_state=0) return x_train, x_test, y_train, y_testX_train,X_test,y_train,y_test = load_data()# 创建成lgb特征的数据集格式lgb_train = lgb.Dataset(X_train, y_train)lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)params = { 'task': 'train', 'boosting_type': 'gbdt', # 设置提升类型 'objective': 'regression', # 目标函数 'metric': {'l2', 'auc'}, # 评估函数 'num_leaves': 31, # 叶子节点数 'learning_rate': 0.05, # 学习速率 'feature_fraction': 0.9, # 建树的特征选择比例 'bagging_fraction': 0.8, # 建树的样本采样比例 'bagging_freq': 5, # k 意味着每 k 次迭代执行bagging 'verbose': 1 # <0 显示致命的, =0 显示错误 (警告), >0 显示信息}print('Start training...')# 训练 cv and traingbm = lgb.train(params,lgb_train,num_boost_round=20,valid_sets=lgb_eval,early_stopping_rounds=5)print('Save model...')# 保存模型到文件gbm.save_model('model.txt')print('Start predicting...')# 预测数据集y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration)print(y_test)print(y_pred)# 评估模型print('The rmse of prediction is:', mean_squared_error(y_test, y_pred) ** 0.5)部分模型output：

2019-06-21 12:32:33