SparkStreaming与Hudi整合报错

南潇如梦

已于 2022-03-18 07:30:22 修改

阅读量757

点赞数

分类专栏：日常踩坑记文章标签： hive spark java

于 2022-03-17 23:05:31 首次发布

本文链接：https://blog.csdn.net/weixin_45682261/article/details/123563214

版权

在SparkStreaming项目中遇到org.apache.thrift.TApplicationException异常，原因是Hive的jdbc驱动与当前hive版本不兼容。解决方案是检查并确保IDEA中的jar包无冲突，特别是pom.xml中spark.sql.hive.metastore.version和hive-jdbc版本与Hive版本一致，更新为1.2.1以匹配现有Hive版本，解决元数据库连接问题。

摘要由CSDN通过智能技术生成

项目场景：

在spark编写hudi的时候，运行程序把数据落在hive上，但是hudi无法加载到hive

报错：

org.apache.thrift.TApplicationException: Required field 'client_protocol' is unset!

问题描述

package com.qf.bigdata.util

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

/**
  * @constructor 根据环境变量参数创建Spark Session
  * @author QF
  * @date 2020/6/9 2:59 PM
  * @version V1.0
  */
object SparkHelper {


  def getSparkSession(env: String) = {

    env match {
        // 集群运行模式
      case "prod" => {
        val conf = new SparkConf()
          .setAppName("Log2Hudi")
          .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
          .set("spark.sql.hive.metastore.version","1.2.1")
          .set("spark.sql.cbo.enabled",