spark
小顽童王
阳光内敛...
展开
-
spark ha讲解与配置
spark standalone集群是Master-Slaves架构的集群模式,和大部分的Master-slaves架构集群一样,存在Master单点故障问题,spark提供了两种解决 方案: 1、基于文件系统的单恢复 基于文件系统的单点恢复,主要是在spark-env里对SPARK_DAEMON_JAVA_OPTS设置 spark.deploy.recoveryMode : 设置成FIL原创 2016-04-13 14:53:50 · 641 阅读 · 0 评论 -
Spark性能优化指南——基础篇
本文转发自美团点评技术团队,原文链接https://tech.meituan.com/spark-tuning-basic.html 前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已转载 2017-09-19 16:47:30 · 441 阅读 · 0 评论 -
Spark性能优化指南——高级篇
本文转发自美团点评技术团队,原文链接https://tech.meituan.com/spark-tuning-basic.html 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候,转载 2017-09-19 17:03:39 · 595 阅读 · 0 评论