spark
文章平均质量分 88
记录spark学校路程上的点点滴滴
Prince_96❤
这个作者很懒,什么都没留下…
展开
-
Spark SQL概述
文章目录Spark SQL官方介绍1、Spark SQL数据抽象1.1、DataFrame1.2、 DataSet1.3、RDD、DataFrame、DataSet的区别Spark SQL官方介绍官网 :http://spark.apache.org/sql/Spark SQL是Spark用来处理结构化数据的一个模块。Spark SQL还提供了多种使用方式,包括DataFrames API和Datasets API。但无论是哪种API或者是编程语言,它们都是基于同样的执行引擎,因此你可以在不同原创 2022-05-24 10:38:38 · 330 阅读 · 0 评论 -
Spark快速入门
文章目录1、Spark概述1.1、什么是Spark?1.2、为什么要学Spark?1.3、Spark的特点1.3.1、运行速度快1.3.2、易用性好1.3.3、通用性强1.3.4、兼容性强1.4、Spark运行模式2、搭建Spark集群2.1、下载2.2、环境准备2.3、配置免密登录2.4、开始安装2.5、Spark HA 高可用部署2.5.1、高可用部署说明2.5.2、基于zookeeper 的Spark HA 高可用集群部署3、Spark 角色介绍3.1、Spark架构3.2、架构说明4、体验 Spar原创 2021-11-29 14:31:20 · 2608 阅读 · 2 评论 -
spark为什么比hive速度快?
spark是什么?spark是针对于大规模数据处理的统一分析引擎,通俗点说就是基于内存计算的框架spark和hive的区别?spark的job输出结果可保存在内存中,而MapReduce的job输出结果只能保存在磁盘中,io读取速度要比内存中慢;spark以线程方式运行,MapReduce以进程的方式运行,进程要比线程耗费时间和资源;spark提供了更为丰富的算子操作;spark提供了更容易的api,支持python,java,scala;spark为什么比hive速度快?spark底原创 2020-09-07 13:20:47 · 2395 阅读 · 0 评论