使用StreamDM的使用Hoffeding算法

原创 2018年04月15日 13:27:26

./spark.sh "EvaluatePrequential -l trees.HoeffdingTree -s (FileReader -k 100 -d 60 -f ../data/hyperplanesampledata)" 1> ../result 2>../log   


这里和SGDLearner中有不同的是调用Hoeffding时候需要在前面加trees 因为Hoeffding源码在包trees下  下面来说明一下各个参数的含义:

-g  在分裂尝试之前,叶应该观察到例子的数量

-q 在应用NavieBayes 之前应观察叶子数量

-c  允许的错误

-t 断裂系的允许误差阈值

-b 只允许二进制分割 布尔

-r 禁用属性差

-p 禁用pre-pruning

-l  叶预测使用(o:主要类 l:Navie Bayes 2:(默认:自适应Navie Bayes))

a:允许在所有的叶子上分裂

针对其他博客运行streamDM的补充

streamDM简单程序SGDlearner的运行
  • u011707542
  • u011707542
  • 2016-12-06 19:47:55
  • 274

华为StreamDM中读取文件的操作

之所以写这篇博客,是因为我在用streamDM的hoeffding tree中遇到了问题。我遇到的问题就是我之前下载的数据格式是libsvm格式,即格式为 label findex1:value1 ...
  • u011707542
  • u011707542
  • 2017-03-01 11:52:42
  • 346

StreamDM:基于Spark Streaming、支持在线学习的流式分析算法引擎

大数据分析按照模型是否在线学习可以分为离线学习(Offline Learning))和在线学习(Online Learning)两大方式,对应的数据处理模式分别为批处理(Batch Mode)分析和流...
  • ASIA_kobe
  • ASIA_kobe
  • 2016-04-14 08:54:16
  • 1383

StreamDM的使用总汇

我在这里把所有的之前的关于StreamDM博客总归起来,构成一个完整的运行StreamDM的完整博客根据如下链接,可以完整的实现StreamDM中的Quick Start中的代码:https://bl...
  • IT_NEU_Lee
  • IT_NEU_Lee
  • 2018-04-15 13:32:46
  • 11

机器学习基石-Training versus Testing

大纲Recap and Preview下图是到目前为止,我们所能了解到的机器学习的基本流程该流程图说明,用于训练的训练数据DD和用于测试演算法所选择的最好的假设gg的数据都来自同一分布,并且|H|\v...
  • yc1203968305
  • yc1203968305
  • 2017-11-18 19:30:30
  • 81

LRU最近最久未使用算法

算法过程 最近最久未使用算法需要引入内存块时钟,即为每个内存块设定一个计时器,用于记录相应内存块中的页面已经存在的时间。每次置换选出所有内存块时钟中最大者作为被置换页面,当页面发生置换时,将其对应的计...
  • u012432778
  • u012432778
  • 2015-06-16 15:22:01
  • 5264

最近最久未使用调度算法

/*最近最久未使用调度算法*/ #include #include #define N 100 int Butter[N]={-1}; void Change(int &a,int &b){...
  • m0_37848958
  • m0_37848958
  • 2017-05-07 16:36:50
  • 503

操作系统-页面置换算法-最近最久未使用算法

最近最久未使用(LRU)算法        FIFO算法和OPT算法之间的主要差别是,FIFO算法利用页面进入内存后的时间长短作为置换依据,而OPT算法的依据是将来使用页面的时间。如果以最近的过...
  • titoni_yunruohan
  • titoni_yunruohan
  • 2017-11-27 21:05:18
  • 439

最近最久未使用(LRU)置换算法

#include #include #define mSIZE 3 #define pSIZE 8 static int memery[mSIZE] = {0}; stati...
  • qq_37905269
  • qq_37905269
  • 2017-05-19 22:07:14
  • 622

页面置换算法-最近最久未用(LRU)

LRU与先进先出算法非常类似, 该算法在内存不够时, 将内存中最久没有使用的数据置换出去, 然后置入新的数据, 算法效果比先进先出更好算法实现:#include #include using na...
  • xiongyangg
  • xiongyangg
  • 2016-03-07 10:58:43
  • 1580
收藏助手
不良信息举报
您举报文章:使用StreamDM的使用Hoffeding算法
举报原因:
原因补充:

(最多只允许输入30个字)