Spark加载HDFS parquet数据,批量插入HBASE例子及一个问题优化
于 2022-03-31 16:38:47 首次发布
本文介绍了一个使用Spark从HDFS上的Parquet文件中抽取数据并批量插入到HBASE的场景。在执行过程中遇到由于批量提交数据量过大导致的延迟问题,通过优化代码成功解决。主要涉及HBase的连接管理和数据写入策略。
摘要由CSDN通过智能技术生成