spark
For_ZZHacker
此人应该不懒,因为他象征性的写了点东西
展开
-
spark计算框架
首先明确一点:学计算框架主要就是学2部分:1.资源调度 2.任务调度spark专业术语:任务相关的专业术语:1.application:用户写的应用程序(包含2部分:Driver Program(包含加载配置文件,创建上下文,创建RDD , 调用RDD的算子)和Executor Program(用户在算子中自定义的函数))2.job:一个action类算子触发执行的操作,有多少个actio...原创 2018-11-06 15:22:21 · 4134 阅读 · 0 评论 -
spark学习开始
一.spark初始简单介绍注意有些版本并不是按照顺序来发布的,例如从1.6直接跳到2.0,可以去官网获取最新的版本信息(http://spark.apache.org/)apache spark 是一个快速的、通用的引擎 用于大规模的数据处理Apache Spark是一个开源的集群计算系统,旨在使数据分析快速进行具有快速运行和快速写入的优势伯克利大学数据分析栈一些...原创 2018-11-18 18:02:35 · 308 阅读 · 0 评论 -
spark集群搭建
Spark 运行模式Spark 支持四种运行模式:Local 使用本地线程模拟,多用于测试Standalone spark默认支持的YARN 最具前景MesosSpark 集群提交模式Spark 支持两种提交模式:client 该提交模式 driver 进程在客户端启动cluster 该提交模式 driver 进程在任意 worker 节...原创 2018-11-18 21:25:39 · 210 阅读 · 0 评论