转载
MrGrant
这个作者很懒,什么都没留下…
展开
-
spark机器学习库之决策树分类
分类决策树代码 import org.apache.spark.sql.SparkSession import org.apache.spark.sql.Dataset import org.apache.spark.sql.Row import org.apache.spark.sql.DataFrame import org.apache.spark.sql.Column import or转载 2017-08-10 15:04:59 · 798 阅读 · 0 评论 -
spark中的分片
本文基于Spark 2.1.0版本新手首先要明白几个配置:spark.default.parallelism:(默认的并发数) 如果配置文件spark-default.conf中没有显示的配置,则按照如下规则取值: 本地模式(不会启动executor,由SparkSubmit进程生成指定数量的线程数来并发): spark-shell ...转载 2019-01-28 16:47:11 · 2663 阅读 · 0 评论