【笔记】BigData校内培训-Spark框架
关注
分享
扫一扫
文章平均质量分 96
xjfy.h
这个作者很懒，什么都没留下…
展开
-
Spark框架学习：Spark Local模式安装、Standalone伪分布模式安装、Scala开发插件安装
Spark Local模式安装目前Apache Spark主要支持三种分布式部署方式：分别是standalone、Spark on mesos和spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算...原创 2018-12-04 09:11:19 · 699 阅读 · 0 评论 -
Spark框架学习：Spark Shell操作、Spark Java API&Spark Scala API操作
Spark Shell操作Spark shell是一个特别适合快速开发Spark程序的工具。即使你对Scala不熟悉，仍然可以使用这个工具快速应用Scala操作Spark。Spark shell使得用户可以和Spark集群交互，提交查询，这便于调试，也便于初学者使用Spark。Spark shell是非常方便的，因为它很大程度上基于Scala REPL(Scala交互式shell，即S...原创 2018-12-04 09:24:13 · 2357 阅读 · 0 评论