2015年04月_52Pig

12月 08月 07月 06月 04月 03月 01月

原创 mllib之随机森林与梯度提升树

随机森林和GBTs都是集成学习算法，它们通过集成多棵决策树来实现强分类器。集成学习方法就是基于其他的机器学习算法，并把它们有效的组合起来的一种机器学习算法。组合产生的算法相比其中任何一种算法模型更强大、准确。随机森林和梯度提升树(GBTs)。两者之间主要差别在于每棵树训练的顺序。随机森林通过对数据随机采样来单独训练每一棵树。这种随机性也使得模型相对于单决策树更健壮，

2015-04-13 21:53:22 2354 1

原创 mllib:Exception in thread "main" org.apache.spark.SparkException: Input validation failed.

当我们使用mllib做分类，用到逻辑回归或线性支持向量机做分类时，可能会出现下面的错误： 15/04/09 21:27:25 ERROR DataValidators: Classification labels should be 0 or 1. Found 3000000 invalid labels Exception in thread "main" org.apache.spark.S

2015-04-09 22:31:30 3545 1

原创 mllib:java.lang.IllegalArgumentException: GiniAggregator given label 2.0 but requires label < numCla

报错信息： java.lang.IllegalArgumentException: GiniAggregator given label 2.0 but requires label 在用mllib做分类，当用到一些分类算法时，常常需要加入基尼系数。程序代码：RandomForest.trainClassifier(validData,2,Map[In

2015-04-09 21:16:31 3966