- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark配置文件和优化
配置文件讲解： 属性 默认值 修改值 指定shuffle分区: spark.sql.shuffle.partitions 200 5 忽略损坏的文件 spark.sql.files.ignoreCorruptFiles false true ...
2020-10-04 16:56:52
396
原创 spark概念梳理
大数据技术和 Spark 概述通过实例学习 DataFrame、SQL、Dataset 等 Spark 的核心 API了解 Spark 的低级 API 实现，包括 RDD 以及 SQL 和 DataFrame 的执行过程了解 Spark 如何在集群上运行Spark 集群和应用程序的调试、监控、和调优学习 Spark 强大的流处理引擎——结构化流处理学习 MLlib 并了解如何应用它解决包括分类和推荐等多种实际问题“这本书是所有 Spark 开发者的必读物，介绍了许多其他地方...
2020-10-01 18:08:21
344
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人