Spark
工紫新波
总有一件事
展开
-
Spark学习(二)Spark是什么
Spark是什么Spark从2012年诞生,在2016年飞速的火了起来,抢占了很多Hadoop的市场份额,其主要的竞争核心就是优于MapReduce,所以让我们开始了解一下Spark吧~Spark框架Spark是内部是一个完整的生态系统:1、Spark Core处于底层,用于支持不同应用场景的组件2、Spark SQL对关系型数据库进行存储Spark Streaming对流数据进...原创 2019-01-04 13:57:13 · 320 阅读 · 0 评论 -
Spark学习(一)Spark 他老爹 Hadoop
Spark 他爹HadoopSpark和Hadoop的关系Hadoop各个核心组件的作用1、两大核心 HDFS/HBase和MapReduce2、Hive(数据仓库)3、Pig(数据流处理)4、Mahout(数据挖掘库)5、Zookeeper(分布式写作服务)6、Flume(日志收集)7、Sqoop(数据库的ETL工具)8、Ambari(安装、部署、配置、管理工具)9、YARN(资源调度和管理框架...原创 2018-12-31 12:15:16 · 198 阅读 · 0 评论 -
Spark学习(三)Ubuntu 18.0 Scala 安装详解
Scala语言Spark是使用Scala语言进行开发的,所以虽然Spark支持Python、R语言,但是使用Scala语言编程将会减少Spark将Python、R转换为底层的Scala的过程。Scala安装和使用方法1、需要先在linux中安装jdk文件:安装方法见Ubuntu JDK安装方法2、安装scala,到官网Scala官网下载最新版本的Scala.tgz文件。3、配置Scala...原创 2019-01-06 18:44:21 · 983 阅读 · 4 评论 -
Spark学习(五)Scala数据结构(容器,列表,集合,映射)
Spark学习(五)Scala数据结构(容器,列表,集合,映射)1、容器(Collection)1)Scala提供了一套十分丰富的容器(collection)库,包括列表(List)、数组(Array)、集合(Set)、映射(MapR)等2)根据容器中元素的组织方式和操作方式不同,可以分为有序和无须,可变和不可变的容器类别;3)Scala使用三个包来组织容器类,分别是scala.colle...原创 2019-01-22 00:03:14 · 803 阅读 · 0 评论 -
Spark学习(四)Scala语言控制结构
Spark学习(四)Scala语言控制结构1)if,while,for 循环原创 2019-01-16 16:44:35 · 181 阅读 · 0 评论 -
Spark学习(六) 数据结构(迭代器、数组、元组)
Spark学习(六)数据结构(迭代器、数组、元组)1、迭代器(Iterator)1)在Scala中迭代器不是一种集合,但是它提供了访问集合的一种方法2)迭代器包含两个基本操作:next和hasNext。next可以返回迭代器的下一个元素,hasNext用于检测是否还含有下一个元素如下提供两种访问迭代器内元素的方法:1)通过迭代器自带的方法访问val ite=Iterator(“Hado...原创 2019-02-09 20:21:55 · 1580 阅读 · 1 评论