Spark 之道
关注
分享
扫一扫
文章平均质量分 97
“Spark 之道” 专栏，带你探寻 Spark 的核心魅力。深入剖析其强大的分布式计算能力，从数据处理到机器学习应用，全面展示 Spark 的多元价值。在这里，你将领悟 Spark 的独特之道，掌握高效大数据处理技巧。无论是新手开发者还是资深数据科学家，都能在这个专栏中找到开启 Spark 之旅的
青云交
技术征途艰难，盼寻同行者！关注公众号「青云交」微信：QingYunJiao，以技会友，并肩奋进！
我深耕多领域技术：
后端开发：Java生态中，JVM调优、Spring全家桶运用娴熟，为大数据开发筑基；
数据流转：消息中间件保障海量数据高速流转；
数据存储：精通各类数据库，适配大数据存储；
前沿技术：Kubernetes实现集群高效管理，Python赋能数据与AI；
前端呈现：熟练掌握 HTML5+CSS3、JavaScript等技术，精通React、VueJS框架，结合Element-UI打造高性能 Web 应用，实现大数据可视化。
「青云交」汇聚大数据前沿干货，邀你共攀技术高峰！
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据新视界 --大数据大厂之 Spark Streaming 实时数据处理框架：案例与实践
本文深入介绍 Spark Streaming 实时数据处理框架，包括核心概念、与其他框架比较、应用场景、案例分析、实践技巧及挑战解决方案。通过丰富案例和代码示例展示其强大功能，为大数据实时处理提供参考。原创 2024-09-26 17:20:50 · 2732 阅读 · 40 评论 -
大数据新视界 --大数据大厂之 Spark 性能优化秘籍：从配置到代码实践
本文深入探讨 Spark 性能优化，涵盖配置与代码实践。在配置方面，包括内存分配优化、并行度设置、存储级别配置、广播变量配置及解决数据倾斜问题等。代码实践涉及数据读取优化、减少 shuffle 操作、优化算法和函数使用、垃圾回收器配置以及代码调优与监控。通过丰富的案例和代码示例，为读者提供切实可行的 Spark 性能优化方法，助力大数据处理更高效。原创 2024-09-11 21:30:22 · 1792 阅读 · 14 评论