HDFS上存储了大量的parquet文件,我需要抽取其中几个字段存储到HBASE里。 中间出现了一个问题,应该是一次批量提交的数据量太多了,所以一直卡着,提示: INFO AsyncRequestFutureImpl: #3, waiting for 172558 actions to finish on table: 网上没找到怎么解决,最后自己优化了一下代码解决了
场景HDFS上存储了大量的parquet文件,我需要抽取其中几个字段存储到HBASE里。中间出现了一个问题,应该是一次批量提交的数据量太多了,所以一致卡着,提示:INFO AsyncRequestFutureImpl: #3, waiting for 172558 actions to finish on table:网上没超导怎么解决,最后自己优化了一下代码解决了代码主函数:HBase2HDFSLocalTestimport org.apache.spark.sql.{DataFrame