解决...不同库不同表大批量数据查询、SQL

跨库查询大批量数据的高效策略

原创

于 2022-02-15 10:11:03 发布 · 929 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #java

本文探讨了在数据库环境下，如何处理不同库、不同表之间的大量数据查询问题。面对近一个月访问App首页用户的查询需求，由于表结构和性能限制，直接联合查询不可行。文中提出了一种简单粗暴的解决方案，包括将USER_ID导出为SQL文件，导入到新的表中，然后在同一个库内进行联合查询。作者期望得到更优的解决方案。

一、业务需求

查询近一个月访问过App首页的用户，并导出对应的信息表，只需要电话号码

二、表结构

（1）A数据库，operation_log表保存了用户浏览的日志信息，可以根据用户的"操作方式"字段 OPERATION_TYPE='IndexPage' 查询出用户的id，即USER_ID；

SELECT  USER_ID 
FROM operation_log
WHERE OPERATION_TYPE='indexPage' 
AND START_TIME >= '2022-01-01 00:00:00'
AND START_TIME <= '2022-02-14 24:00:00' 
AND USER_ID IS NOT NULL 
GROUP BY USER_ID

（由于该表未建索引，执行效率同样极低，希望大佬能给出优化语句）

（2）B数据库，user_main表保存的用户的信息，可以根据用户id，即USER_ID字段查询。

三、遇到的问题

（1）不同库、不同表、不同数据连接，不能直接进行联合查询；

（2）查询出的USER_ID有十几万，无法直接通过IN语句进行