![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
概念性知识
小nove
这个作者很懒,什么都没留下…
展开
-
Spark的架构与执行流程
架构组成RDD:弹性,分布式,只读的一个数据集。(抽象概念)Exector:worker节点的一个进程:spark的任务是线程级别的。Exector负责对具体任务的分配Exector的多线程执行任务与公用内存和磁盘的管理方式决定了优异性能Application:用户自己编写的程序。包含了多个job与一个driver。job:具体的操作,包含多个RDD及相应的操作stage:job分配...原创 2019-11-05 23:20:41 · 128 阅读 · 0 评论 -
scala的数据结构
数组:array可变可索引,元素具有相容类型的数据集合数组直接打印为地址值。需加 (toBuffer) 进行输出1.定长数组:Arrayval arr1 = new Array[Int](8)//默认的值都为0//定义一个长度为3的定长数组 val arr3 = Array("hadoop", "storm", "spark")2.变长数组:ArrayBuffer需要...原创 2019-11-05 22:01:57 · 162 阅读 · 0 评论 -
maven的依赖范围
scope标签compile编译测试运行,会被打包。test仅测试,不会被打包。systemsystem范围依赖与provided类似,但是你必须显式的提供一个对于本地系统中JAR文件的路径,需要指定systemPath磁盘路径,system依赖不推荐使用。provided编译与测试,会被打包。runtime表示运行时提供依赖范围。即编译时不需要,运行和测试时需要,会被打包。...原创 2019-09-28 14:19:39 · 74 阅读 · 0 评论