![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 77
nicole_33
呼呼哈
展开
-
Spark学习总结
第1章 Spark 概述1.1 Spark是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。主要用于数据计算,经常被认为是Hadoop框架的升级版。1.2 Spark 和Hadoop的缘分组成:Hadoop 是由Java语言编写的,部署在分布式服务器集群上,用于存储海量数据并运行分布式分析应用的开源框架;其重要组件有,HDFS 分布式文件系统、MapReduce 编程模型、Hbase 基于HDFS的分布式数据库:擅长实时随机读/写超大规模数据集。Spark是由Scala原创 2022-03-07 00:55:18 · 7884 阅读 · 0 评论 -
对Spark中一些基础概念的了解
1、Driver:运行应用程序的main函数,并创建SparkContext进程。初始化SparkContext是为了准备Spark应用程序的运行环境,在Spark中由SparkContext负责与集群进行通信,并进行资源的申请、任务的分配和监控等。当Worker节点中的Executor部分运行完毕后,Driver同时负责将SparkContext关闭。2、Executor:在Worker节点中,是Driver进程申请完资源后,被Spark应用所启动的一个进程,它可以运行task,也可以在内存或者磁盘中保原创 2022-02-13 17:24:34 · 691 阅读 · 0 评论 -
了解 Spark中的master、worker和Driver、Executor
master和worker是物理节点,是在不同环境部署模式下和资源相关的两大内容Driver和executor是进程,是在spark应用中和计算相关的两大内容1、master和worker节点master节点常驻master守护进程,负责管理worker节点,并且会从master节点提交应用。worker节点常驻worker守护进程,会与master节点进行通信,并且管理executor进程。在搭建spark集群时,就已经设置好了master节点和worker节点,一个集群中可以有多个master原创 2022-01-16 10:54:54 · 4001 阅读 · 1 评论 -
spark学习——scala基础篇
1、基础语法1.1 两种变量类型Val:不可变,在声明时就必须进行初始化,且初始化后就不能被再次赋值Var:可变,在声音是需要进行初始化,但后续还可以进行再次赋值在Scala中声明变量必须有这两者其一的定义,但类型不是必须的,因为Scala可以自己判断。1.2 控制台输入输出语句输入:scala.io.Stdln read输出:print()、println()、printf()1.3 读写文件写入文件:java.io.PrintWriter读取文件:Scala.io.Source原创 2021-10-13 23:51:04 · 2853 阅读 · 0 评论