ClickHouse工具类

依赖包引入

<!-- clickhouse -->
<dependency>
	<groupId>ru.yandex.clickhouse</groupId>
	<artifactId>clickhouse-jdbc</artifactId>
	<version>0.2.6</version>
</dependency>
<!-- Druid -->
<dependency>
	<groupId>com.alibaba</groupId>
	<artifactId>druid</artifactId>
	<version>1.2.4</version>
</dependency>

数据源加载

import com.alibaba.druid.pool.DruidDataSource;
import com.paratera.console.datasync.constans.DataSyncConstants;
import lombok.Data;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import ru.yandex.clickhouse.ClickHouseConnection;

import javax.sql.DataSource;
import java.sql.*;
import java.text.DateFormat;
import java.text.SimpleDateFormat;
import java.util.*;

/**
 * 德鲁伊连接池,实例化clickhouse连接对象
 *
 * @author huxiang
 */
@Data
@Configuration
@ConfigurationProperties(prefix = "clickhouse")
@Slf4j
public class ClickHouseDataSource {

    private String driverClassName;
    private String url;
    private String username;
    private String password;
    private Integer initialSize;
    private Integer maxActive;
    private Integer minIdle;
    private Integer maxWait;

    /**
     * 连接对象
     *
     * @return Connection
     * @throws SQLException
     */
    @Bean("clickhouseConnection")
    public Connection getConn() throws SQLException {
        DruidDataSource datasource = new DruidDataSource();
        datasource.setUrl(url);
        datasource.setDriverClassName(driverClassName);
        datasource.setInitialSize(initialSize);
        datasource.setMinIdle(minIdle);
        datasource.setMaxActive(maxActive);
        datasource.setMaxWait(maxWait);
        datasource.setUsername(username);
        datasource.setPassword(password);
        datasource.setValidationQuery("SELECT 1");
        datasource.setTestWhileIdle(true);
        return datasource.getConnection();
    }
}

操作工具类

import com.paratera.console.datasync.constans.DataSyncConstants;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;

import javax.annotation.Resource;
import java.sql.*;
import java.text.DateFormat;
import java.text.SimpleDateFormat;
import java.util.*;

/**
 * clickhouse 工具类
 *
 * @author huxiang
 *
 */
@Slf4j
@Component
public class ClickHouseUtils {

    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Value("${clickhouse.url}")
    private String url;

    @Resource(name = "clickhouseConnection")
    private Connection connection;

    /**
     * 执行无返回sql
     *
     * @param sql
     */
    public void execSQL(String sql) {
        log.debug("cliockhouse 执行sql:" + sql);
        try (Statement statement = connection.createStatement()) {
            statement.executeQuery(sql);
        } catch (SQLException e) {
            sendMessage2WxRobot(e);
        }
    }

    /**
     * 执行有返回结果sql
     *
     * @param sql
     * @return
     */
    public List<Map> exeSql(String sql) {
        log.info("cliockhouse 执行sql:" + sql);
        try (Statement statement = connection.createStatement();
             ResultSet results = statement.executeQuery(sql)) {
            ResultSetMetaData rsmd = results.getMetaData();
            List<Map> list = new ArrayList();
            while (results.next()) {
                Map row = new HashMap();
                for (int i = 1; i <= rsmd.getColumnCount(); i++) {
                    row.put(rsmd.getColumnName(i), results.getString(rsmd.getColumnName(i)));
                }
                list.add(row);
            }

            return list;
        } catch (SQLException e) {
            sendMessage2WxRobot(e);
        }
        return Collections.emptyList();
    }
}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
引用网络文章开启本课程的开篇: 在大数据分析领域中,传统的大数据分析需要不同框架和技术组合才能达到最终的效果,在人力成本,技术能力和硬件成本上以及维护成本让大数据分析变得成为昂贵的事情。让很多中小型企业非常苦恼,不得不被迫租赁第三方大型公司的数据分析服务。  ClickHouse开源的出现让许多想做大数据并且想做大数据分析的很多公司和企业耳目一新。ClickHouse 正是以不依赖Hadoop 生态、安装和维护简单、查询速度快、可以支持SQL等特点在大数据分析领域越走越远。  本课程采用全新的大数据技术栈:Flink+ClickHouse,让你体验到全新技术栈的强大,感受时代变化的气息,通过学习完本课程可以节省你摸索的时间,节省企业成本,提高企业开发效率。本课程不仅告诉你如何做项目,还会告诉你如何验证系统如何支撑亿级并发,如何部署项目等等。希望本课程对一些企业开发人员和对新技术栈有兴趣的伙伴有所帮助,如对我录制的教程内容有建议请及时交流。 课程概述:在这个数据爆发的时代,像大型电商的数据量达到百亿级别,我们往往无法对海量的明细数据做进一步层次的预聚合,大量的业务数据都是好几亿数据关联,并且我们需要聚合结果能在秒级返回。  那么我们该如何实现这一需求呢?基于Flink+ClickHouse构建电商亿级实时数据分析平台课程,将带领大家一步一步从无到有实现一个高性能的实时数据分析平台,该系统以热门的互联网电商实际业务应用场景为案例讲解,对电商数据的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:概况统计、全站流量分析、渠道分析、广告分析、订单分析、运营分析(团购、秒杀、指定活动)等,该系统指标分为分钟级和小时级多时间方位分析,能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。 本课程凝聚讲师多年一线大数据企业实际项目经验,大数据企业在职架构师亲自授课,全程实操代码,带你体验真实的大数据开发过程,代码现场调试。通过本课程的学习再加上老师的答疑,你完全可以将本案例直接应用于企业。 本套课程可以满足世面上绝大多数大数据企业级的海量数据实时分析需求,全部代码在老师的指导下可以直接部署企业,支撑千亿级并发数据分析。项目代码也是具有极高的商业价值的,大家可以根据自己的业务进行修改,便可以使用。  本课程包含的技术: 开发工具为:IDEA、WebStorm Flink1.9.0 ClickHouseHadoop2.6.0 Hbase1.0.0 Kafka2.1.0 Hive1.0.0 Jmeter(验证如何支撑亿级并发)Docker (虚拟化部署)HDFS、MapReduce Zookeeper SpringBoot2.0.2.RELEASE SpringCloud Finchley.RELEASE Binlog、Canal MySQL Vue.js、Nodejs Highcharts Linux Shell编程  课程亮点: 1.与企业对接、真实工业界产品 2.ClickHouse高性能列式存储数据库 3.大数据热门技术Flink新版本 4.Flink join 实战 5.Flink 自定义输出路径实战 6.全链路性能压力测试 7.虚拟化部署 8.集成指标明细查询 9.主流微服务后端系统 10.分钟级别与小时级别多时间方位分析 11.数据库实时同步解决方案 12.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS 13.集成SpringCloud实现统一整合方案 14.互联网大数据企业热门技术栈 15.支持海量数据的实时分析 16.支持全端实时数据分析 17.全程代码实操,提供全部代码和资料 18.提供答疑和提供企业技术方案咨询 企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。 
Spring Boot 是一个针对于 Spring 框架的开发和部署简化的工具,而 ClickHouse 是一个高性能、可扩展的列式数据库管理系统。将 Spring Boot 与 ClickHouse 整合,可以实现高效的数据存储和查询。 首先,我们需要在 Spring Boot 的项目中添加 ClickHouse 的驱动依赖。可以通过 Maven 或 Gradle 来管理项目依赖。在 pom.xml(或 build.gradle)文件中,添加 ClickHouse 驱动依赖,并指定对应的版本号。 接下来,配置 ClickHouse 的连接信息。在 Spring Boot 的配置文件(application.properties 或 application.yml)中,添加 ClickHouse 的连接参数,包括用户名、密码、URL 等。这些配置信息将用于建立与 ClickHouse 数据库的连接。 然后,创建 ClickHouse 的数据访问对象(DAO)类。使用 Spring Boot 提供的 JdbcTemplate 或 Spring Data JPA 等方式,与 ClickHouse 进行交互。通过定义合适的实体类和接口,可以方便地进行数据的增删改查操作。 最后,编写业务逻辑代码,调用 ClickHouse 的 DAO 类,实现具体的业务需求。可以利用 ClickHouse 提供的高性能查询和聚合功能,快速地处理大规模的数据。 总结来说,整合 Spring Boot 和 ClickHouse 可以帮助我们更便捷地开发和部署应用程序,同时利用 ClickHouse 的高性能和可扩展性,实现高效的数据存储和查询。这种整合方式适用于需要处理大量数据的项目,例如日志分析、数据分析等场景。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值