Spark SQL读取hbase映射到hive表-----异常记录

最新推荐文章于 2023-08-01 11:38:11 发布

fengfengchen95

最新推荐文章于 2023-08-01 11:38:11 发布

阅读量1.2k

点赞数

分类专栏： SparkSql

本文链接：https://blog.csdn.net/fengfengchen95/article/details/81198841

版权

在尝试使用Spark SQL读取HBase并映射到Hive表时，遇到了两个主要异常。异常一是`NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/TableInputFormatBase`，解决方法是在Maven中引入hbase-server相关jar包。异常二是由于服务器双网段问题导致的`NoRouteToHostException`，解决办法是配置`dfs.client.use.datanode.hostname`为`true`，确保使用datanode的hostname连接。

摘要由CSDN通过智能技术生成

异常问题一：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/TableInputFormatBase
   at java.lang.ClassLoader.defineClass1(Native Method)
   at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
   at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
   at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
   at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
   at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
   at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
   at java.security.AccessController.doPrivileged(Native Method)
   at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
   at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
   at org.apache.spark.sql.hive.client.IsolatedClientLoader$$anon$1.doLoadClass(IsolatedClientLoader.scala:221)