pycharm运行spark任务报错

最新推荐文章于 2024-09-14 21:13:40 发布

牛牛木有坏心眼（大数据进阶）

最新推荐文章于 2024-09-14 21:13:40 发布

阅读量270

点赞数 7

文章标签： spark 大数据分布式

本文链接：https://blog.csdn.net/weixin_56130021/article/details/140734705

版权

报错信息

java.lang.ClassNotFoundException Class org.apache.hive.hcatalog.data.JsonSerDe not found

解决方法

本地运行报错，将两个linux上spark下jars下的包放到本地的conda环境下的Pyspark的jars目录下：

这个是我自己的conda环境安装路径E:\softwares\anaconda\Lib\site-packages\pyspark\jars

再运行pycharm代码即可解决问题

from pyspark.sql import SparkSession


def getSparkSession(appName):
    spark = SparkSession.builder \
        .appName(appName) \
        .config('hive.metastore.uris', 'thrift://hadoop11:9083') \
        .master("local[*]") \
        .enableHiveSupport() \
        .getOrCreate()
    return spark