spark 多线程删数据库数据_使用SparkSQL实现多线程分页查询并写入文件

一、由于具有多张宽表且字段较多，每个宽表数据大概为4000万条，根据业务逻辑拼接别名，并每张宽表的固定字段进行left join 拼接SQL。这样就能根据每个宽表的主列，根据每个宽表的不同字段关联出一张新的集合。由于下来要进行分页查询，如果要使用SparkSQL进行分页查询，需要增加序号列，那么就在刚才的Sql之前增加一句 create table tableName as SELECT  ROW_NUMBER() OVER() as id,* from (拼接的SQL) 就可创建一张带自增序列的，业务需要字段的几张宽表的关联集合,方便下来分页。

for(int i=0;i

SiCustomerLabelInfoModel Column = ColumnNames.get(i);

List ciMdaSysTable = ciCustomerJDao.getMdaSysTableName(Column.getColumnName());

String alias = "t_" + ciMdaSysTable.get(0).getTableId();

String aliasColumn = alias + "." + Column.getColumnName();

String aliasTable = ciMdaSysTable.get(0).getTableName() +" "+ alias;

if(mainTable == null){

mainTable = aliasTable;

}

if(ciMdaSysTable.get(0).getUpdateCycle() == 1){