本文介绍了如何入门Spark，包括下载后的Spark Shell使用，对比了PySpark Shell和Scala Shell的启动方式，以及如何减少shell日志输出。文章还讲解了Spark中的核心概念——弹性分布式数据集(RDD)，并阐述了驱动器程序、SparkContext和执行器的角色。最后，提到了在独立程序中使用Spark的方法，以及如何连接和初始化SparkContext。
spark下载与入门
spark shell
其他shell工具只能使用单机的硬盘和内存来操作数据，而spark shell可以用来与分布式存储在许多机器的内存或者硬盘上的数据进行交互，并且处理过程的分发由spark自动控制完成。
spark支持许多语言版本，此处交互式shell部分只考虑Python版本（PySpark Shell）和Scala版本（Spark-sehll）。
- 进入PySpark Shell：
进入spark目录后，输入bin/pyspark
- 进入spark-shell：
进入spark目录后，输入bin/spark-sehll
两种方式对比如下图（上图Scala下图Python）：
这里可以看到对比，即使没有赋予管理员权限，pyspark依旧可以获取SparkContext，而Scala则不行。
在执行命令行sudo -s后，即以管理员身份运行bin/spark-shell，则Scala可以正常使用SparkContext，如下图示：
————————————
减
最低0.47元/天 解锁文章
757
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
