Spark 之道
关注
分享
扫一扫
文章平均质量分 97
“Spark 之道” 专栏，带你探寻 Spark 的核心魅力。深入剖析其强大的分布式计算能力，从数据处理到机器学习应用，全面展示 Spark 的多元价值。在这里，你将领悟 Spark 的独特之道，掌握高效大数据处理技巧。无论是新手开发者还是资深数据科学家，都能在这个专栏中找到开启 Spark 之旅的
青云交
微信公众号：青云交 以技术交友，获天下良师；以心诚交友，得天下益友。致力于深入挖掘Java生态，全面涵盖JVM调优、Spring全家桶、MyBatis和Netty等核心技术。同时，广泛涉及消息中间件如RabbitMQ、RocketMQ、Kafka，探索Redis、ES、MongoDB、Memcached等数据存储技术，以及MySQL、PostgreSQL、Oracle、SQL Server数据库。此外，涉猎Kubernetes、SaaS、DevOps、大数据、算法、AI和Python等领域，并拓展至JavaScript、Nodejs、Vuejs、Reactjs等前端技术，打造全方位技术博客。
展开
-
大数据新视界 --大数据大厂之 Spark Streaming 实时数据处理框架：案例与实践
本文深入介绍 Spark Streaming 实时数据处理框架，包括核心概念、与其他框架比较、应用场景、案例分析、实践技巧及挑战解决方案。通过丰富案例和代码示例展示其强大功能，为大数据实时处理提供参考。原创 2024-09-26 17:20:50 · 2066 阅读 · 37 评论 -
大数据新视界 --大数据大厂之 Spark 性能优化秘籍：从配置到代码实践
本文深入探讨 Spark 性能优化，涵盖配置与代码实践。在配置方面，包括内存分配优化、并行度设置、存储级别配置、广播变量配置及解决数据倾斜问题等。代码实践涉及数据读取优化、减少 shuffle 操作、优化算法和函数使用、垃圾回收器配置以及代码调优与监控。通过丰富的案例和代码示例，为读者提供切实可行的 Spark 性能优化方法，助力大数据处理更高效。原创 2024-09-11 21:30:22 · 1313 阅读 · 11 评论