Apache Spark结构以及安装pyspark报错Java gateway process exited的原因接上篇

(5条消息) 测试pyspark时，解决Java gateway process exited的问题_コキリ的博客-CSDN博客

在第一篇blog(5条消息) 测试pyspark时，解决Java gateway process exited的问题_コキリ的博客-CSDN博客中，

我记录了解决安装pyspark报错Java gateway process exited的解决过程。最后卸了JAVA 16，装了低版本JAVA 8， 问题就OKAY了。

那么今天我想回溯一下之前碰到的报错问题，以及融合最近学的Apache Spark的知识来深度谈谈当时报错的原因，顺便帮自己 comb through.

首先我们要明白pyspark是spark的python API，但是实际在pyspark中写的代码和平时实操的python code 是很大的区别。因为spark是通过scala语言来操作的，而scala是基于java之上的，所以当我们使用pyspark时，一些代码是类似scala语言，而不是平时看到的python code. 当然，我们是在python 或jupyter notebook中操作，也会用到python, SQL等等你一下就能识别出来的语言。

这也是为什么当我们在学习spark和pyspark时你起码需要知道这个东西和java有关系的原因. Spark的底层其实是用的java byte code来创建一些dataframe or perhaps RDD  that is