Pyspark读取hive表数据进行处理,将结果插入到hive及hbase
文章目录前言一、基本思路1.创建参数初始化方法ReadConfig();2.创建一个数据处理类DataDeal():二、实现过程及说明1.初始化sparksession2.读取hive数据3.数据处理4.插入到hive5.插入到hbase主函数及参数处理总结前言 项目需要使用pyspark将hive数据进行处理插入到hive表及hbase中,刚开始接触spark,记录了学习的过程帮助初学者。一、基本思路1.创建参数初始化方法ReadConfig();读取key:value格式的配置..
复制链接