spark3.x on hive3.x idea配置和相关坑

一：spark on hive 的两种方式

1，通过jdbc的方式连接hiveserver2的方式来读取数据

两种方式虽然都可以，但是第一中相对比较事多，我用的spark3.0.0里面，没有针对hive的dialect,我们自己需要根据源码实现一个 ，然后注册进去。基于jdbc的读取代码如下 ：

//利用jdbc方式+hive2方式读取hive数据(spark on hive报错，改用这个方式)
def readDfdatafromHive(db: String, tablename: String,sparkSession: SparkSession): DataFrame = {
  val df = sparkSession.read
    .format("jdbc")
    .option("driver", "org.apache.hive.jdbc.HiveDriver")
    .option("url", "jdbc:hive2://139.159.159.196:1111/")
    .option("user", "liuz")
    .option("password", "4630850lz")
    .option("fetchsize", "2000")
    .option("dbtable", db + "." + tablename)
    .load()
  df
}

我们自定义dialect如下：

/**
  * spark的底层居然没有添加HiveJDBC，所以无法解析正常的数据.导致解析的列名称和值一样，进而引起类型转换错误
  * 现在要做的就是新建一个类，继承JdbcDialect，并重写了canHandle和quoteIdentifier方法，然后再进行注册，代码如下：
  */
object HiveSqlDialect extends JdbcDialect {
  //
  override def canHandle(url: String): Boolean ={
    url.toLowerCase(Locale.ROOT).startsWith("jdbc:hive2")
    //    url.startsWith("jdbc:hive2")
    //mysql   url.toLowerCase(Locale.ROOT).startsWith("jdbc:mysql")
  }
  override def quoteIdentifier(colName: String): String = {
    colName.split('.').map(part => s"`$part`").mkString(".")
    // mysql   s"`$colName`"
  }
}
object RegisterHiveSqlDialect {
  def register(): Unit = {
    JdbcDialects.registerDialect(HiveSqlDialect)
  }
}

使用的时候，需要RegisterHiveSqlDialect.register()注册进去就可以了

2，另外一种就是我们常用的通过sparksql直接连接。这里有坑的哟！

   在服务器里面我们配置spark  on hive 就不提了，我们主要配置下怎么在本地的idea中配置，并且记录下遇到的坑！

1，pom依赖

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>3.0.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.12</artifactId>
            <version>3.0.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>2.3.7</version>
        </dependency>

2，从服务器中把hive-site.xml，hdfs-site.xml 拷贝到 resource下面。

3，支持hive配置

System.setProperty("HADOOP_USER_NAME", "liuz")
val  spark: SparkSession = SparkSession
   .builder()
   .enableHiveSupport()
   .master("local[*]")
   .appName("sql")
   .getOrCreate()
 spark.sql("select  *  from  dwd.dwd_warn_dt limit 10 ;").show(10)

遇到的坑记录：

  

 我们发现是在这里，我们的hive元数据库里面的地址是内网地址，但所以我们连接不上

 

解决办法

方法一，把SDS里面location的内网地址，利用spark程序，改成hdp100，也就是我nn的主机名

方法二，注释掉蓝色部分，避免ip回环(这里很多地方都这么说，我们照做)，新增外网地址ip主机名映射，每台主机都一样。

 

通过以上的处理，我们重跑任务，发现连接nn没毛病，但是又有下面的bug，显示连接其他的dn连接不上，这里百思不得其解，我们不是只和nn打交道就可以吗，dn还要管。思考一会后，我们发现这个log里面，还是有一个内网，nn和dn这里用的是内网

 

解决该问题，只用在hdfs-site,xml中，添加以下配置，就彻底解决问题

//默认返回给client端datanode的主机名称,这里如果不加的话，dn就会连接不上
        <property>
            <name>dfs.client.use.datanode.hostname</name>
            <value>true</value>
        </property>