![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
转载
MrGrant
这个作者很懒,什么都没留下…
展开
-
spark机器学习库之决策树分类
分类决策树代码 import org.apache.spark.sql.SparkSession import org.apache.spark.sql.Dataset import org.apache.spark.sql.Row import org.apache.spark.sql.DataFrame import org.apache.spark.sql.Column import or转载 2017-08-10 15:04:59 · 789 阅读 · 0 评论 -
spark中的分片
本文基于Spark 2.1.0版本新手首先要明白几个配置:spark.default.parallelism:(默认的并发数) 如果配置文件spark-default.conf中没有显示的配置,则按照如下规则取值: 本地模式(不会启动executor,由SparkSubmit进程生成指定数量的线程数来并发): spark-shell ...转载 2019-01-28 16:47:11 · 2643 阅读 · 0 评论