spark调优详解

本文参考中华石杉老师的课程总结。后面一部分是总结了一下当spark必须要按列处理时的调优方式。 1、spark调优之分配更多资源 /usr/local/spark/bin/spark-submit \ --class cn.spark.sparktest.core.WordCountClus...

2018-08-19 18:48:21

阅读数 399

评论数 0

数据挖掘之stacking模型融合(以阿里妈妈广告点击率预估比赛为例)

前面的特征工程部分参考大神操作,此代码非比赛真是代码,可以在特征工程方面多下功夫,这次比赛经过模型融合后的最好成绩为96名(5000队) #coding=utf-8 import pandas as pd import numpy as np import scipy as sp import...

2018-07-31 15:27:46

阅读数 416

评论数 0

auto sklearn安装(mac版)

需要python3的环境 安装swig3 ruby -e "$(curl --insecure -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" brew i...

2018-07-31 15:14:53

阅读数 607

评论数 0

基于Tpot的遗传算法自动化建模之核心源码解读

遗传算法及scala实现见文章:https://blog.csdn.net/hgy0403/article/details/81287490 Tpot的涉及到的建模过程,以TPOT light为例主要有3块:Classifiers、Preprocesssors、Selectors,tpot的遗传...

2018-07-31 14:50:09

阅读数 885

评论数 0

遗传算法及scala实现

我们先从查尔斯 · 达尔文的一句名言开始: 能够生存下来的往往不是最强大的物种,也不是最聪明的物种,而是最能适应环境的物种。 遗传算法 ( GA , Genetic Algorithm ) ,也称进化算法 。 遗传算法是受达尔文的进化论的启发,借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍...

2018-07-30 18:41:56

阅读数 572

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭