2019年01月_史壮

原创 Spark学习第二天之---共享变量Broadcast Variable(广播变量)和Accumulator(共享变量)

共享变量分为两种：Broadcast Variable（广播变量）和 Accumulator（累加变量）什么是共享变量？默认情况下，如果在一个算子的函数中使用到了某个外部的变量，那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量，那么这种方式是做不到的。Braadcast Variable会将使用到的变量，仅仅为每个...

2019-01-23 16:08:09 337

原创 Spark学习第二天----Transformation和Action算子的学习

1、transformation和Action算子的介绍。transformation操作会针对已有的RDD创建一个新的RDD；而action则主要是对RDD进行最后的操作，比如遍历、reduce、保存到文件等，并且把结果返回给Driver程序。transformation的特点就是lazy（懒）特性。lazy特性指的是，如果一个Spark应用中只定义了transformation操作...

2019-01-22 09:41:24 320

原创数据结构学习第六天---树的概念以及二叉树

1、树的概念：树（英文Tree）：它是一种抽象数据类型（ADT）或是实作这种抽象数据类型的数据结构，用来模拟具有树状结构性质的数据集合。它是由n（n>=1）个有限节点组成一个具有层次关系的集合。把他叫做“树”是因为它看起来像一颗倒挂的树，也就是树根朝上，而树叶向下的，它具有以下的特点： 1、每个节点有零个或多个子节点： 2、没有父节点的节点称为根节点： 3、每一个非根节点...

2019-01-20 10:40:29 262

1,创建RDD1.进行Spark核心编程时，首先要做的第一件事，就是创建一个初始的RDD。该RDD中，通常就代表和包含了Spark应用程序的输入源数据。然后在创建了初始的RDD之后，才可以通过Spark Core提供的transformation算子，对该RDD进行转换，来获取其他的RDD。2.Spark Core提供了三种创建RDD的方式，包括：使用程序中的集合创建RDD；使用本地文件创建...

2019-01-20 10:39:49 581

原创数据结构学习第五天---归并排序与二分查找

1、归并排序：归并排序（MERGE-SORT）是利用归并的思想实现的排序方法，该算法采用经典的分治（divide-and-conquer）策略（分治法将问题分(divide)成一些小的问题然后递归求解，而治(conquer)的阶段则将分的阶段得到的各答案"修补"在一起，即分而治之)。可以看到这种结构很像一棵完全二叉树，本文的归并排序我们采用递归去实现（也可采用迭代的方式去实现）。分阶...

2019-01-16 11:51:40 716

原创数据结构学习第四天--希尔排序和快排

1、希尔排序：希尔排序（Shell Sort）是插入排序的一种。也叫做缩小增量排序，是直接插入排序算法的一种改进版，是一个非稳定的排序算法.他的原理是把记录按下标的一定增量分组，对每组使用直接插入排序算法排序；随着增量逐渐减少，每组包含的关键词越来越多，当增量减至1时，整个文件恰好被分成一组，算法便是终止了。希尔排序的基本思想：将数组列在一个表中并对列分别进行插入排序，重复...

2019-01-09 18:13:14 233

原创数据结构学习第四天---栈与队列的概念

1、概念：前面我们学习了链表！链表与顺序表统称为线性表！那么线性表中的顺序表在物理上存储的层次来说的话应该是一组连续的内存空间存储数据，链表是将元素存放在通过链接构造起来的一系列存储块中。那么我们如何利用这些数据呢？那么我们就要使用栈了！栈（stack）是一种容器，可存放数据元素、访问元素、删除元素。它的特点是只能允许在容器的一端进行加入数据（push）和输出数据（pop）的运算。...

2019-01-02 19:43:41 143

weixin_41928342的博客