大数据
文章平均质量分 88
?CaMKII
这个作者很懒,什么都没留下…
展开
-
Spark学习_02_运行模式和架构
Spark运行环境和架构1. Spark运行环境Spark作为一个数据处理框架和计算引擎,它被设计在所有常见的集群环境下运行,目前主流环境是基于Hadoop的Yarn环境,docker环境也在慢慢流行起来Spark的运行环境目前分为三种模式:local模式、standalone模式和Yarn模式1.1 local模式local模式是不需要其他任何节点资源就可以在本地执行Spark程序的环境,一般用于学习、调试等安装不需要额外配置,解压到你想放的路径即可· 提交应用bin/spark-subm原创 2021-04-23 19:51:25 · 2095 阅读 · 4 评论 -
Spark学习_01_概述
Spark一、spark概述1. spark · spark是一种由Scala语言开发的快速、通用、可拓展的大数据分析引擎 · spark core中提供了spark最基础与最核心的功能 · spark SQL是spark用来操作结构化数据的组件。通过spark SQL,用户可以使用SQL或者apache Hive版本的HQL来查询数据 · spark streaming是spark平台上针对实时数据进行流式计算的组件,提供了丰富的处理数据流的API总结:spark出现的时间较晚,且主原创 2021-04-23 19:48:28 · 156 阅读 · 0 评论