roguesir的博客

RDD的内部运行方式 Spark优势：每个转换操作并行执行，大大提高速度。 数据集的转换通常是惰性的，即在transformation过程不会执行程序，只有在action过程才会执行。 创建RDD 导入相关程序库 from pyspark import SparkContext as sc from pyspark import SparkConf 创建RDD # 将list或array转为RD...

DataFrame是一种不可变的分布式数据集。Spark早期的API中，由于JVM和Py4J之间的通信开销，使用Python执行查询会明显变慢。 Python到RDD之间的通信 在PySpark驱动器中，Spark Context通过Py4J启动一个JavaSparkContext的JVM，所有的RDD转换最初都映射到Java中的PythonRDD对象。这样，Python和JVM之间就存在很多上下...

【PySpark学习笔记一】弹性分布式数据集RDD 【PySpark学习笔记二】DataFrame用法

spark-submit命令利用可重用的模块形式编写脚本，并且以编程方式提交作业到Spark。 spark-submit命令 spark-submit命令提供一个统一的API把应用程序部署到各种Spark支持的集群管理器上，从而免除了单独配置每个应用程序。 命令行参数 下面逐个介绍这些参数： --master：用于设置主结点URL的参数。 local：用于执行本地机器的代码。Spark运行一个...