Spark基础篇(三) - 创建RDD的前提（先创建SparkContext、SparkConf）

最新推荐文章于 2023-02-13 10:20:12 发布

VIP文章 Spark on yarn

最新推荐文章于 2023-02-13 10:20:12 发布

阅读量982

点赞数 1

分类专栏： SparkCore基础篇

本文链接：https://blog.csdn.net/sparkonyarn/article/details/106546950

版权

一、RDD五大特性回顾

面试相关：
1、RDD是什么？为什么是分布式？为什么是弹性？
谈一下你对RDD的理解？结合RDD.scala进行理解；RDD五大特性与源码中的方法对应。

RDD是一个抽象类，它是没有办法直接使用的，只能通过子类访问；以jdbcRDD来看，通过jdbcRDD去访问数据，hadoopRDD：通过recorderreader去获取hdfs上的split，一个文件先拿到split，通过key-value把值取出来。

The first thing a Spark program must do is to create a SparkContext object, which tells Spark how to access a cluster. To create a SparkContext you first need to build a SparkConf object that contains information about your application.

1）、常用的context有哪些？

ServletContext
StrutsContext
jbpmCOntext（工作流中的上下文）
SpringContext			---> SpringBoot

如何理解Context？

2）、SparkContext的作用： 告诉Spark如何去连接集群（tell Spark how to access cluster）

3）、创建SparkContext前需要创建SparkConf对象（包含一些程序信息，application name、core、memory）

网址：http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.SparkConf

1、SparkConf用key-value键值对的方式来设置Spark参数的；

2、通过new SparkConf的方式来new出来sparkconf对象；

3、所有的set方法在这

关注