![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 88
?CaMKII
这个作者很懒,什么都没留下…
展开
-
Spark学习_02_运行模式和架构
Spark运行环境和架构 1. Spark运行环境 Spark作为一个数据处理框架和计算引擎,它被设计在所有常见的集群环境下运行,目前主流环境是基于Hadoop的Yarn环境,docker环境也在慢慢流行起来 Spark的运行环境目前分为三种模式:local模式、standalone模式和Yarn模式 1.1 local模式 local模式是不需要其他任何节点资源就可以在本地执行Spark程序的环境,一般用于学习、调试等 安装不需要额外配置,解压到你想放的路径即可 · 提交应用 bin/spark-subm原创 2021-04-23 19:51:25 · 2084 阅读 · 4 评论 -
Spark学习_01_概述
Spark 一、spark概述 1. spark · spark是一种由Scala语言开发的快速、通用、可拓展的大数据分析引擎 · spark core中提供了spark最基础与最核心的功能 · spark SQL是spark用来操作结构化数据的组件。通过spark SQL,用户可以使用SQL或者apache Hive版本的HQL来查询数据 · spark streaming是spark平台上针对实时数据进行流式计算的组件,提供了丰富的处理数据流的API 总结:spark出现的时间较晚,且主原创 2021-04-23 19:48:28 · 145 阅读 · 0 评论