pycharm运行spark任务报错

报错信息

java.lang.ClassNotFoundException Class org.apache.hive.hcatalog.data.JsonSerDe not found

 

解决方法

本地运行报错，将两个linux上spark下jars下的包放到本地的conda环境下的Pyspark的jars目录下：

这个是我自己的conda环境安装路径E:\softwares\anaconda\Lib\site-packages\pyspark\jars

再运行pycharm代码即可解决问题

from pyspark.sql import SparkSession


def getSparkSession(appName):
    spark = SparkSession.builder \
        .appName(appName) \
        .config('hive.metastore.uris', 'thrift://hadoop11:9083') \
        .master("local[*]") \
        .enableHiveSupport() \
        .getOrCreate()
    return spark