【大数据】计算引擎：Spark核心概念 十分钟，一文讲明白复杂抽象的Spark核心概念。

阅读 4.4k

73赞

收藏 72
[特殊字符] 超详细Apache Spark 3.5.5安装教程（Ubuntu版）附集群部署与避坑指南 本文详细介绍了如何在Ubuntu系统上安装和配置Apache Spark 3.5.5，涵盖单机模式和集群模式的部署步骤。首先，文章列出了系统硬件和软件要求，并提供了更新系统和安装依赖工具的命令。接着，详细讲解了单机模式的安装过程，包括Java环境的安装、Spark的下载与解压、环境变量的配置以及安装验证。对于集群模式，文章规划了集群节点，并指导如何配置SSH无密码登录、编辑Spark配置文件、分发Spark目录到Worker节点，并启动集群。此外，文章还提供了运行示例程序验证安装的步骤，并列举了常见问题及其

阅读 864

22赞

收藏 27
数智读书笔记系列032《统一星型模型--一种敏捷灵活的数据仓库和分析设计方法》 《统一星型模型——一种敏捷灵活的数据仓库和分析设计方法》由Bill Inmon和Francesco Puppini合著，旨在解决传统数据仓库设计中的局限性。统一星型模型（USS）结合了Bill Inmon的企业级数据仓库方法和Ralph Kimball的维度建模方法，通过引入Bridge表和中央表等创新机制，解决了数据丢失、Chasm陷阱、多事实查询等传统问题。USS模型不仅提高了查询效率和数据一致性，还增强了业务适应性和未来扩展能力。本书系统介绍了USS的设计方法和应用场景，适合数据架构师、商业智能开发人

阅读 2.0k

74赞

收藏 43
spark_基础入门 spark基础一文上车！

阅读 1.1k

28赞

收藏 8
Spark AQE 导致的 Driver OOM问题 因为原则上来说，如果没有开启AQE之前，一个SQL执行单元的是属于同一个Job的，开启了AQE之后，因为AQE的原因，一个Job被拆成了了多个Job，但是从逻辑上来说，还是属于同一个SQL处理单元的所以还是得归属到一次执行中。类在内存中存放着 一个整个SQL查询链的所有stage以及stage的指标信息，在AQE中 一个job会被拆分成很多job，甚至几百上千的job，这个时候 stageMetrics的数据就会成百上倍的被存储在内存中，从而导致。主要的作用是设置当前计划的所属的。该方法会获取事件中的。

阅读 1.5k

19赞

收藏 16
深入解析《企业级数据架构》：HDFS、Yarn、Hive、HBase与Spark的核心应用 深入解析《企业级数据架构》：HDFS、Yarn、Hive、HBase与Spark的核心应用

阅读 1.8w

131赞

收藏 46
spark常见的submit参数 spark-submit 是在spark安装目录中bin目录下的一个shell脚本文件，用于在集群中启动应用程序

阅读 866

9赞

收藏 5
作者推荐
涤生大数据
在职阿里，美团，京东，字节大数据技术专家，擅长大数据开发，集群架构/运维，爱好python数据分析/爬虫, 加 v: dsflink 可免费转行评估，职业规划，校招规划，大数据进阶指导，简历把脉 欢迎一起交流
关注
积跬步，慕至千里
知行合一！ 想，都是问题； 做，才有答案！
关注
小白的大数据历程
大数据新手
关注
灼华946
技能大赛备赛中，有问题可以加v交流：finger8421
关注
奥特曼it
付费源码+定制项目V：OTM667 添加频繁扣：1932826606
关注
董可伦
博主曾获2014年全国数学建模竞赛国家一等奖；有八年大数据经验，大数据领域专家、CSDN博客专家。Apache Hudi Active Contributor,喜欢开源，擅长并乐于分享Flink、Hudi、Spark等大数据领域的技术
关注
小技工丨
所有的等待终将有所归属
关注
Amu_Yalo
纯学习作业
关注
tomayato
一个痛苦的托码头
关注
小蜜蜂爱编程
积跬步以致千里，积小流以成江海
关注