大数据
文章平均质量分 94
小小马里奥ぅ
这个作者很懒,什么都没留下…
展开
-
手把手带你了解Spark作业“体检报告” --Spark UI
手把手带你了解Spark作业“体检报告” --Spark UISpark UI 一级入口ExecutorsEnvironmentStorageSQLJobsStages总结扩展Spark UI 二级入口SQL 详情页ExchangeSortAggregateJobs 详情页Stages 详情页Stage DAGEvent TimelineTask MetricsSummary MetricsTasksSpark UI 一级入口 &nb原创 2022-01-12 22:46:20 · 1940 阅读 · 1 评论 -
基于Docker快速安装Spark及基础使用
基于Docker快速安装Spark及基础使用实战环境信息docker编排工具docker-compose安装使用官网指导方式安装(不推荐)使用国内镜像源安装(推荐)安装docker的spark镜像结果通过 Spark Shell 进行交互分析基础操作新建RDDRDD的更多操作缓存Spark SQL 和 DataFramesSpark Streaming独立应用程序(Self-Contained Applications)应用程序代码安装 sbt使用 sbt 打包 Scala 程序通过 spark-submi原创 2021-08-08 19:48:49 · 9249 阅读 · 4 评论