【大数据】计算引擎：Spark核心概念 十分钟，一文讲明白复杂抽象的Spark核心概念。

阅读 4.4k

73赞

收藏 72
数智读书笔记系列032《统一星型模型--一种敏捷灵活的数据仓库和分析设计方法》 《统一星型模型——一种敏捷灵活的数据仓库和分析设计方法》由Bill Inmon和Francesco Puppini合著，旨在解决传统数据仓库设计中的局限性。统一星型模型（USS）结合了Bill Inmon的企业级数据仓库方法和Ralph Kimball的维度建模方法，通过引入Bridge表和中央表等创新机制，解决了数据丢失、Chasm陷阱、多事实查询等传统问题。USS模型不仅提高了查询效率和数据一致性，还增强了业务适应性和未来扩展能力。本书系统介绍了USS的设计方法和应用场景，适合数据架构师、商业智能开发人

阅读 2.0k

74赞

收藏 43
如何学习Spark：糙快猛的大数据之旅 回顾我从零开始学习大数据的journey，我深深体会到"糙快猛"学习方法的重要性。在Spark这样复杂而强大的技术面前，我们不应该被完美主义所束缚。相反，我们应该勇于尝试，在实践中学习，在错误中成长。记住，当我们面对看似不可能的挑战时，要保持那份"可把我牛逼坏了，让我叉会腰儿"的自信和决心。每一次你解决了一个棘手的数据问题，优化了一个复杂的查询，或者部署了一个高性能的Spark应用，你都在向着成为大数据专家的目标迈进一步。在这个数据驱动的时代，Spark的学习之旅永无止境。

阅读 8.6k

104赞

收藏 54
Spark 大数据环境搭建（ Linux 系统安装和配置） （1）选择典型安装（2）选择“安装程序光盘映像文件(iso)”，点击右侧的浏览按钮， 找到下载好的iso 文件，然后点击下一步。（3）将全名、用户名、密码、确认等几项均设为“spark”， 方便后面使用，然后点击下一步。（4）在命名虚拟机的窗体中，可以设定一下虚拟机名称或直接按默认，然后点击下一步。（5）在指定磁盘容量的窗体中，设定虚拟机使用的最大磁盘大小为60GB，虚拟机文件尺 寸是在使用过程中按需增长的，最大限制为 60GB。

阅读 1.0k

12赞

收藏 9
大数据技术全景解析：Spark、Hadoop、Hive与SQL的协作与实战 • MapReduce（计算框架）：笨拙但可靠的搬运工，通过“分箱-搬运-汇总”完成批量任务（如统计年度销售额）。• HDFS（分布式存储）：像一个无限扩展的仓库，能容纳PB级数据（如10年电商订单原始日志）。• 服务层：Presto/Trino（交互式查询）+ MySQL（结果集服务）。• 存储层：HDFS（低成本PB级存储）+ 对象存储（如AWS S3）。• 冷数据存储：存储历史日志、备份数据（如法律要求的10年交易记录）。• 数据仓库：将杂乱数据整理成带标签的表格（如“用户表”“订单表”）。

阅读 3.0k

25赞

收藏 26
sparkTTS window 安装 下载cuda 12.4.

阅读 2.2k

5赞

收藏 8
Spark + HBase 大数据实战指南（上） 针对上述挑战，项目团队决定采用 HBase 作为存储解决方案，利用其优秀的列式存储特性来应对大规模数据存储的需求；同时，采用 Spark 作为数据处理框架，借助其强大的分布式计算能力加速数据处理流程。通过以上介绍，我们已经详细探讨了如何利用 Spark 和 HBase 解决大规模数据处理的问题。希望本篇文章能够为您提供有价值的参考和启示，如果您有任何疑问或建议，欢迎随时交流讨论。1、目前星球内，环境一键安装教程文章、主流大数据组件专栏、模拟面试小程序、企业级课程内训、求职辅导等内容已经非常丰富。

阅读 847

17赞

收藏 11
作者推荐
又迷茫了
普通一名大学生
关注
小小小小雪糕
基于大数据相关知识的学习者
关注
qrh_yogurt
学习分享
关注
tomayato
一个痛苦的托码头
关注
Matrix70
在岗消防
关注
涤生大数据
在职阿里，美团，京东，字节大数据技术专家，擅长大数据开发，集群架构/运维，爱好python数据分析/爬虫, 加 v: dsflink 可免费转行评估，职业规划，校招规划，大数据进阶指导，简历把脉 欢迎一起交流
关注
北随琛烬入
大数据技术专业
关注
星星重行行
码农
关注
云 祁
Focus BigData，专注于大数据技术领域的知识分享。
关注
Gae Immortal
心之所向，身之所往
关注