Spark 2.2.x 中文文档学习 - 1

最新推荐文章于 2023-06-18 18:37:19 发布

viviuolo

最新推荐文章于 2023-06-18 18:37:19 发布

阅读量246

点赞数

分类专栏： Spark 文章标签： python spark

本文链接：https://blog.csdn.net/viviuolo/article/details/105558979

版权

Spark 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文详细记录了在使用Spark2.2.x中文文档进行Python应用程序开发时遇到的错误及其解决方案，包括TypeError和Py4JError的处理方法，并介绍了如何通过安装findspark模块并正确初始化SparkSession来避免这些错误。

摘要由CSDN通过智能技术生成

Spark 2.2.x 中文文档

使用 Spark Shell 进行交互式分析 > 自包含的(self-contained)应用程序。
SimpleApp.py

spark = SparkSession.builder().appName(appName).master(master).getOrCreate()

运行python SimpleApp.py报错：TypeError: ‘Builder’ object is not callable，修改为：

spark = SparkSession.builder.appName('appName').getOrCreate()

运行依然报错：py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getEncryptionEnabled does not exist in the JVM。

此时安装findspark：

pip install findspark

并在SimpleApp.py开头加上：

import findspark
findspark.init()

完整代码：

import findspark
findspark.init()

from pyspark.sql import SparkSession

logFile = "/usr/local/spark-3.0.0-preview2-bin-hadoop2.7/README.md"  

spark = SparkSession.builder.appName('appName').getOrCreate()
logData = spark.read.text(logFile).cache()

numA = logData.filter(logData.value.contains('a')).count()
numB = logData.filter(logData.value.contains('a')).count()

print("Lines with a: %i, lines with b: %i" % (numA, numB))

spark.stop()