Spark基础篇(三) - 创建RDD的前提（先创建SparkContext、SparkConf）

最新推荐文章于 2023-02-13 10:20:12 发布
最新推荐文章于 2023-02-13 10:20:12 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： SparkCore基础篇
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SparkOnYarn/article/details/106546950
版权
本文主要介绍了Spark编程前需要创建SparkContext及其重要性，详细讲解了SparkConf的用途和设置，以及在不同环境下的最佳实践。同时，提到了在IDEA中构建Spark应用程序的方法，强调了Spark UI中参数调优的重要性，特别是类路径配置在Spark 1.x与2.x版本的区别。最后，给出了一些关于Spark应用的思考题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、RDD五大特性回顾

二、创建Spark应用程序前需要创建SparkContext

三、使用idea构建SparkContext

四、一些思考题

一、RDD五大特性回顾

面试相关：
1、RDD是什么？为什么是分布式？为什么是弹性？
谈一下你对RDD的理解？结合RDD.scala进行理解；RDD五大特性与源码中的方法对应。

RDD是一个抽象类，它是没有办法直接使用的，只能通过子类访问；以jdbcRDD来看，通过jdbcRDD去访问数据，hadoopRDD：通过recorderreader去获取hdfs上的split，一个文件先拿到split，通过key-value把值取出来。

二、创建Spark应用程序前需要创建SparkContext

  • The first thing a Spark program must do is to create a SparkContext object, which tells Spark how to access a cluster. To create a SparkContext you first need to build a SparkConf object that contains information about your application.

1）、常用的context有哪些？

ServletContext
StrutsContext
jbpmCOntext（工作流中的上下文）
SpringContext			---> SpringBoot

如何理解Context？

  • context是一个框，可以理解为它是一个容器，我们使用spark的时候首先需要构建一个SparkContext.

2）、SparkContext的作用： 告诉Spark如何去连接集群（tell Spark how to access cluster）

3）、创建SparkContext前需要创建SparkConf对象（包含一些程序信息，application name、core、memory）

2.1、官网对于SparkConf的描述

  • 网址：http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.SparkConf

1、SparkConf用key-value键值对的方式来设置Spark参数的；

2、通过new SparkConf的方式来new出来sparkconf对象ÿ

最低0.47元/天 解锁文章
Spark基础篇(四) - RDD的创建和算子使用
SparkOnYarn的博客
06-07 705
一、SparkContext、SparkConf内容回顾 二、RDD创建的两种方式 2.1、官网对于SparkConf的描述 2.2、spark-submit的最佳实践 三、使用idea构建SparkContext 3.1、spark-shell查看命令帮助&&在客户端中使用 3.2、此处涉及的参数调优点 四、一些思考题 一、SparkContext、SparkConf内容回顾 1、SparkContext、SparkConf、spark-shell中一些常用参数介绍 2、开发程序前
Spark RDD编程初级实践--头歌
newtian的博客
10-07 5956
Spark RDD编程初级的实践代码，遇到问题写不下去的同学不妨来看看，重新打开自己的思路！编写Spark独立应用程序实现数据去重；编写Spark独立应用程序实现整合排序；编写Spark独立应用程序实现求平均值。
【Spark程序执行1】SparkContext对象构建以及RDD依赖解析
weixin_38602383的博客
01-03 1687
【Spark程序执行1】SparkContext对象构建 1，构建SparkContext对象，以及该对象核心属性介绍： class SparkContext(config: SparkConf) extends Logging { ...... //spark配置信息：基础配置 | 环境配置 private var _conf: SparkConf = _ private var _eventLogDir: Option[URI] = None private var _even
使用sparkContext.parallelize创建RDD
qq_33465047的博客
05-24 1494
使用sparkContext.parallelize创建RDD If you are using scala, get SparkContext object from SparkSession and use sparkContext.parallelize() to create rdd, this function also has another signature which additionally takes integer argument to specifies the number
Spark源码分析之SparkContext
happy19870612's blog
11-09 836
SparkContext是用户和Spark集群交互的唯一入口，它的主要是有两个： # 可以用来创建RDD，累加器和广播变量 # 初始化应用程序所需要的核心组件，为应用程序准备运行环境   只可以有一个SparkContext实例运行在一个JVM中，所以在创建SparkContext的时候之前，确保之前的SparkContext已经关闭了，即调用stop方法停止当前JVM中唯一运行的Sp
SparkContext和RDD
weixin_30396699的博客
01-17 232
SparkContext和RDD SparkContext.scala实现了一个SparkContext的class和object,SparkContext类似Spark的入口，负责连接Spark集群，创建RDD,累积量和广播量等。 在Spark框架下该类在一个JVM中只加载一次。在加载类的阶段，SparkContext类中定义的属性，代码块...
如何在 Spark 中，使用 SparkContext 创建 RDD 或 DataFrame，并将数据写入 Flume。
weixin_35751412的博客
02-13 184
在 Spark 中，可以使用 SparkContext 来创建 RDD 或 DataFrame。 创建 RDD 的方法是： val sc = new SparkContext(conf) val data = Array(1, 2, 3, 4, 5) val rdd = sc.parallelize(data)
Spark—RDD的创建(Local环境)
To_9426464的博客
02-05 644
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例
spark编程基础实验三数据
最新发布
05-05
本篇文章将深入探讨如何利用Spark进行基础的数据编程实验，特别是在处理文本数据文件方面的应用。我们将以“Spark编程基础实验三数据”为核心主题，解析实验中的关键步骤，并通过实际代码示例来演示如何操作和处理...
Spark Programming Guide
MY BLOG
08-23 532
本文主要内容来源于spark官网：http://spark.apache.org/docs/1.6.0/programming-guide.html Overview 每个Spark应用程序都包含一个驱动程序，该程序运行用户的Main函数并在集群上执行各种并行操作。 Spark提供的最主要抽象是弹性分布式数据集（RDD）关于RDD这里不再详细写了。Spark中的第二个抽象是可以在并行操作中使用的共享变量，Spark支持两种类型的共享变量：广播变量（将值缓存到所有节点的内存中）和累加器（仅“添加”到其上
pyspark里的SparkContext及RDD的基本demo
WGS.
03-26 1227
文章目录SparkContext介绍pysparkRDD的一些基本操作countcollectforeachfiltermapreducejoin SparkContext介绍 SparkContext是任何spark功能的入口点。当我们运行任何Spark应用程序时，启动一个驱动程序，它具有main函数，并在此处启动SparkContext。然后，驱动程序在工作节点上的执行程序内运行操作。 SparkContext使用Py4J启动 JVM 并创建 JavaSparkContext。默认情况下，PySpark
创建SparkContext
LgDreamSky
08-04 4336
SparkContext实例可以与一个Spark集群连接，也
eclipse IDEA maven scala spark 搭建 成功运行 sparkContext
u010006687的博客
09-26 1836
整了好几天,把eclipse弄能用.. 期间报各种错,进度也被耽误了…archetype和pom部分引用他人的,可惜调试的太多,没有记录下作者,这里歉意+感谢.环境: Hadoop–>2.6.4 Scala–>2.11.8 Spark–>2.2.0IDE, eclipseEE + scalaIDE插件–>oxygen:pom有报错,但是可用 sc
Spark：RDD创建的四种方式
大雄没有叮当猫的博客
08-16 1486
package com.cb.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * spark创建RDD的四种方式 */ object SparkRDD { def main(args: Array[String]): Unit = { val sparkConf=new SparkConf().setMaster("local[4]").setApp.
Spark Conf配置用法
奔赴彼岸
01-15 3029
Spark 2.0.0 在Spark2.0之后，Spark Session也是Spark 的一个入口， 为了引入dataframe和dataset的API，同时保留了原来SparkContext的functionality， 如果想要使用 HIVE，SQL，Streaming的API， 就需要Spark Session作为入口。 SparkSession spark = SparkSession.builder().appName( "demo_spark" ).enableHiveSupport().ge
Spark应用（一）提取RDD内部信息和信息放入RDD
legotime的博客
03-08 4512
提取RDD内部信息      对于提取RDD内部信息有的人或许认为是一件非常简单的事情，“直接foreach操作不就行了？”。如果RDD不是为了分布式式计算。那么這样的逻辑就完全可以。 直接在外部顶一个可变量A，然后遍历RDD，A放入RDD遍历逻辑中，遍历完之后，就可以提取RDD内部的信息。但是RDD是为分布式而设计，也就是说，你這样的逻辑 放在一个分布式中就行不通了。下面看一个例子 im
【Spark2.0源码学习】-8.SparkContext与Application介绍
weixin_30692143的博客
05-26 218
在前面的内容，我们针对于RpcEndpoint启动以及RpcEndpoint消息处理机制进行了详细的介绍，在我们的大脑里，基本上可以构建Spark各节点的模样。接下来的章节将会从Spark如何从业务代码分解为Spark的任务，并最终调度这些任务进行详细的介绍。 前面针对于Client启动过程以及Driver进行了详细的描述，下面我们根据用户代码中的SparkCo...
SparkContext
Poor - Because you have no ambition
02-13 847
from pyspark import SparkContext sc = SparkContext() data = sc.parallelize([('amber',22),('alfred',23),('skye',4),('albert',12),('amber',9)]) data ParallelCollectionRDD[0] at parallelize at PythonR...
Spark创建RDD的几种方式
笑看风云路的博客
07-12 2620
大家好，我是风云，欢迎大家关注我的个人原创公众号【笑看风云路】获取更多大数据技术干货，在未来的日子里我们一起来学习大数据相关的技术，一起努力奋斗，遇见更好的自己！ 扫码进，更快捷： 在Spark中创建RDD的方式主要分为2种：1.读取内存数据创建RDD2.读取文件创建RDD读取内存数据创建RDD，Spark主要提供了两个方法：parallelize和makeRDD。使用makeRDD创建RDD的时候还可以指定分区数量。 2、读取文件创建RDD 读取文件创建RDD，Spark提供了textFile和whole
spark学习-sparksql--07-sparkcontext类和sparkconf类
03-16
SparkContext类和SparkConf类是Spark框架中非常重要的两个类。 SparkContext类是Spark应用程序的入口点，它负责与集群管理器进行通信，创建RDD、累加器和广播变量等Spark核心组件，并提供了一些常用的操作函数，如textFile()、parallelize()等。 SparkConf类则是Spark应用程序的配置类，它可以设置Spark应用程序的各种参数，如应用程序名称、运行模式、集群管理器、序列化方式、内存分配等。SparkConf类还可以通过set()方法动态地修改配置参数。 SparkSQL是Spark框架中的一个模块，它提供了一种基于SQL语言的数据处理方式，可以将结构化数据以表格的形式进行处理和分析。SparkSQL支持多种数据源，如Hive、JSON、Parquet等，同时也支持多种数据格式的查询和分析，如SQL查询、DataFrame和Dataset等。 总之，SparkContext类和SparkConf类是Spark框架中非常重要的两个类，而SparkSQL则是Spark框架中的一个重要模块，它们都为Spark应用程序的开发和运行提供了很大的便利性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值