hive sql查询

/***
     * 分析引擎查询
     * @param dbSourcePageQueryReqDTO
     * @return
     * @throws SQLException
     * @throws ClassNotFoundException
     */
    public List<Map<String, Object>> pageQuery(DbSourcePageQueryReqDTO dbSourcePageQueryReqDTO) throws SQLException, ClassNotFoundException {
        String sql = dbSourcePageQueryReqDTO.getSql();
        String dataBase = dbSourcePageQueryReqDTO.getDataBase();
        Integer pageSize = dbSourcePageQueryReqDTO.getPageSize();
        List<SQLStatement> sqlStatements = SQLUtils.parseStatements(sql, JdbcConstants.HIVE, true);
        //暂时支持一条SQL
        SQLStatement sqlStatement = sqlStatements.get(0);
        //SchemaVisitor
        HiveSchemaStatVisitor visitor = new HiveSchemaStatVisitor();
        sqlStatement.accept(visitor);
        //只支持查询操作
        if (!(sqlStatement instanceof SQLSelectStatement)) {
            throw new ServiceException("error", "只支持查询语句!!");
        }
        // 添加库名
        Map<TableStat.Name, TableStat> tables = visitor.getTables();
        for (Map.Entry<TableStat.Name, TableStat> entry : tables.entrySet()) {
            String tableName = entry.getKey().getName();
            if (tableName.contains(".")) {
                continue;
            }
            String expr = "\\b\\w*\\.*" + tableName + "\\b";
            Pattern pattern = Pattern.compile(expr, Pattern.CASE_INSENSITIVE);
            Matcher matcher = pattern.matcher(sql);
            sql = matcher.replaceAll("`" + dataBase + "." + tableName + "`");
        }
        if (null == pageSize || pageSize == 0) {
            pageSize = 2000;
        }
        sql = sql.replace(";", "");
        sql = "select * from (" + sql + ")mpbaseanalyze limit " + pageSize;
        log.info("分析引擎:QUERY SQL:" + sql);
        String jdbc = MessageFormat.format("jdbc:hive2://{0}:{1}?mapreduce.job.queuename={2};hive.resultset.use.unique.column.names=false",
                baseProperties.getHiveIp(), baseProperties.getHivePort(), baseProperties.getHiveMapreduceJobQueuename());
        String user = baseProperties.getHiveUser();
        String password = baseProperties.getHivePassword();
        Hive2DataSource hive2DataSource = new Hive2DataSource(user, password, jdbc);
        return hive2DataSource.executeQuery(MapListHandler.create(), sql);
    }
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值