2014年10月_breeze_lsw

12月 11月 10月 09月 08月

原创 Spark集群术语

Spark集群术语解析 1. Application Application是用户在Spark上构建的程序，包含driver program 和executors。 2. SparkContext Spark的上下文对象，是程序的起点，通往集群的入口（与cluster进行连接），通过其可以创建RDD（获取数据），在其中配置的参数拥有最高优先级。 3.

2014-10-20 19:25:37 1660

原创 Spark集群模式&Spark程序提交

Spark集群模式&Spark程序提交 1. 集群管理器 Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式，易于构建集群。 Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。 Hadoop YARN—Hadoop2中的资源管理器。 Tip1: 在集群不是特别大，并且没有mapRe

2014-10-19 22:02:23 13569

转载 IDEA阅读Spark源码

下载spark-1.1.0源文件 Ubuntu准备工作 1. Ubuntu换源根据不同ubuntu版本百度换源：如：ubuntu12.04换源 deb http://mirrors.163.com/ubuntu/ precise mainrestricted deb-src http://mirrors.163.com/ubuntu/ precise mainrest

2014-10-19 18:27:44 1435

转载 RDD：基于内存的集群计算容错抽象

转载自：http://shiyanjun.cn/archives/744.html

2014-10-10 20:56:51 1389

spark_prometheus_metrics.json

博客https://blog.csdn.net/lsshlsw/article/details/82670508 spark_prometheus_metrics.json

2018-09-13

scala for spark

因为spark是用scala编写的，这里做了点总结，方便看spark源码。

2014-09-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人