- 博客(3)
- 收藏
- 关注
翻译 Spark Standalone Mode
Spark StandaloneModeSpark除了可以运行在Mesos和YARN集群管理系统中,它也提供了一个简单独立的部署模式,你可以手动的启动一个集群环境,通过启动一个master和多个worker,或者使用Spark提供的启动脚本,当然你也可以将这些进程运行在一台机器中以便测试使用。Installing Spark Standalone to a Cluster要安装一个Sa
2016-08-07 16:17:56 465
翻译 Cluster Mode Overview
Cluster ModeOverview这篇文章主要介绍Spark集群的架构以及相关组件。ComponentsSpark应用程序在集群环境中运行在相互独立的进程中,通过SparkContext进行交互(SparkContext会在用户程序中初始化,称之为Driver)。Spark应用程序通过SparkContext在集群之间实现协调调度以及资源分配,首先在集群中申请Executor
2016-08-07 11:32:41 347
翻译 Spark Overview
Spark OverviewApache Spark是一个快速的、通用的分布式计算系统。提供了高层次的客户端API支持Java、Scala、Python以及R语言,并且提供了优秀的计算引擎。它还提供了一系列高级别的工具包括Spark SQL通过SQL处理结构化数据,MLlib机器学习,GraphX图像处理,以及Spark Streaming流计算。Downloading可以从http:
2016-08-06 23:08:55 190
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人