Spark快速大数据分析
文章平均质量分 73
Ayanha
这个作者很懒,什么都没留下…
展开
-
pyspark之sparksql数据流转
在pyspark中,使用sparksql进行mysql数据的读写处理,将程序保存为。原创 2022-12-22 18:57:22 · 1075 阅读 · 0 评论 -
Spark框架
Spark框架介绍原创 2022-11-29 17:37:11 · 605 阅读 · 0 评论 -
Spark数据结构之RDD
RDD原创 2021-07-29 17:07:00 · 446 阅读 · 0 评论 -
Spark在大数据分析中的使用方式
一、Spark应用程序的工作原理spark应用程序通过驱动器程序(spark shell、idea等)来发起在集群上的并行操作,包括定义集群上的分布式数据集(RDD),并对数据集进行操作。驱动器程序通过对象SparkContext(即sc)连接spark集群,从而访问spark集群上的分布式文件。在驱动器程序上,可以通过sc来创建RDD,并且一次性操作管理多个执行器节点(通过Spark API对多个节点上的分布式数据集传递函数,进行操作)。二、独立的spark程序在spark shell中会自动初始化原创 2021-07-28 16:01:41 · 587 阅读 · 0 评论