Spark和hbase集成遇到的一些问题

最新推荐文章于 2023-02-27 19:25:35 发布

会飞的犬良

最新推荐文章于 2023-02-27 19:25:35 发布

阅读量1k

点赞数

分类专栏：大数据文章标签： spark hbase

本文链接：https://blog.csdn.net/things_use/article/details/83151480

版权

本文总结了Spark与HBase集成时遇到的三个主要问题：1) Spark任务集中在主节点，通过检查工作目录下的错误日志发现是由于jar包冲突导致，删除多余jar包后问题解决。2) Spark读取HBase数据时RegionServer挂掉，原因是`sparkMemory`参数设置过大引发GC问题，调整参数后恢复正常。3) Spark连接Zookeeper异常，解决办法是将HBase的hbase-site.xml配置文件复制到Spark的conf目录下，使Spark能获取正确的Zookeeper地址。

摘要由CSDN通过智能技术生成

1.Spark计算都转移到了一个节点上，即只有一个节点在计算。

搭建好的spark集群，进行计算的时候发现，所有的slave节点上的task生成后，快速退出，并且生成好多task。查看spark ui上发现，只有主节点上有正常task运行，其他的slave节点都没有分到相应的task。如下所示：

主要是找到错误日志，主节点上的work目录下没有错误输出，然后找到slave节点下的work目录下，找到相应的app目录下，的staerr文件，发现slave节点一直在报错，是与主节点的netty通信异常，结合之前的经验，发现可能是jar包冲突。进入到spark的SPARK_CLASSPATH目录下，发现有两个netty相关的jar包。去掉一个之后，再运行，发现可以正常分发task了。

2.spark读取hbase数据，regionserver总是莫名其妙的挂掉，并出现以下异常：

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /hbase/oldWALs/h2%2C16020%2C1536546484765..