Spring boot 操作doris

1. 启动doris

1.1 一台fe 三台be

[root@node01 bin]# ./start_fe.sh --daemon
[root@node01 bin]# ./start_be.sh --daemon
[root@node02 bin]# ./start_be.sh --daemon
[root@node03 bin]# ./start_be.sh --daemon

1.2 连接 doris

[root@node01 bin]# mysql -h 192.168.1.161 -P9030 -uroot
mysql> create database wudl_db;
Query OK, 0 rows affected (0.01 sec)
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| test               |
| test_db            |
| wudl_db            |
+--------------------+



1.3 创建表

mysql> CREATE TABLE `doris_test` (
    ->   `id` int NULL COMMENT "id",
    ->   `name` varchar(40) NULL COMMENT "名称"
    -> ) ENGINE=OLAP
    -> DUPLICATE KEY(`id`)
    -> COMMENT "OLAP"
    -> DISTRIBUTED BY HASH(`id`) BUCKETS 1
    -> PROPERTIES (
    -> "replication_num" = "1",
    -> "in_memory" = "false",
    -> "storage_format" = "V2"
    -> );
Query OK, 0 rows affected (0.06 sec)

1.4 插入数据

mysql> insert into doris_test (id,name) values(1,'hdfs');
Query OK, 1 row affected (0.07 sec)
{'label':'insert_683fe77d679648be-b9440896f330d70c', 'status':'VISIBLE', 'txnId':'30'}

2.通过接口(Spring boot mybatis)的方式访问 数据

2.1 项目结构

在这里插入图片描述

package com.wudl.doris.controller;

import com.wudl.doris.domain.DorisTest;
import com.wudl.doris.service.DorisService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;

/**
 * @ClassName : DorisController
 * @Description :
 * @Author :wudl
 * @Date: 2021-08-08 13:58
 */
@RestController
public class DorisController {

    @Autowired
    DorisService dorisService;

    @GetMapping("/dorislist")
    public List<DorisTest>  getListDoris()
    {
        return  dorisService.listDoris();
    }
}

package com.wudl.doris.domain;

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import lombok.ToString;

/**
 * @ClassName : doris_test
 * @Description :
 * @Author :wudl
 * @Date: 2021-08-08 13:53
 */

@Data
@AllArgsConstructor
@NoArgsConstructor
@ToString
public class DorisTest {

    private int id;
    private String name;

}

package com.wudl.doris.mapper;

import com.wudl.doris.domain.DorisTest;
import org.apache.ibatis.annotations.Mapper;

import java.util.List;

/**
 * @ClassName : DorisMapper
 * @Description :
 * @Author :wudl
 * @Date: 2021-08-08 14:01
 */

@Mapper
public interface DorisMapper {

    /**
     * 查询所有的doris 数据
     * @return
     */
   public  List<DorisTest> listDoris();

}

package com.wudl.doris.service;

import com.wudl.doris.domain.DorisTest;

import java.util.List;

/**
 * @ClassName : DorisService
 * @Description :
 * @Author :wudl
 * @Date: 2021-08-08 13:58
 */

public interface DorisService {

    /**
     * 查询所有的表数据
     * @return
     */
   public List<DorisTest> listDoris();

}

package com.wudl.doris.service.impl;

import com.wudl.doris.domain.DorisTest;
import com.wudl.doris.mapper.DorisMapper;
import com.wudl.doris.service.DorisService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.List;

/**
 * @ClassName : DorisServiceImpl
 * @Description :
 * @Author :wudl
 * @Date: 2021-08-08 14:01
 */

@Service
public class DorisServiceImpl implements DorisService {

    @Autowired
    DorisMapper dorisMapper;
    @Override
    public List<DorisTest> listDoris() {
        return dorisMapper.listDoris();
    }
}

package com.wudl.doris;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

/**
 * @ClassName : App
 * @Description :
 * @Author :wudl
 * @Date: 2021-08-08 12:5151
 */

@SpringBootApplication
public class App {
    public static void main(String[] args) {
        SpringApplication.run(App.class, args);
    }
}

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd" >
<mapper namespace="com.wudl.doris.mapper.DorisMapper">

    <select id="listDoris" resultType="com.wudl.doris.domain.DorisTest">
        select id,name from doris_test
    </select>
</mapper>

application.yml

server:
  port: 8080
spring:
  #数据库连接配置
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://192.168.1.161:9030/wudl_db?characterEncoding=utf-8&useSSL=false
    username: root
    password:

#mybatis的相关配置
mybatis:
  mapper-locations: classpath:mapper/*.xml
  type-aliases-package: com.wudl.doris.domain.DorisTest
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.0.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>springboot-doris-db</artifactId>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
        <mybatis.spring.boot.starter.version>1.3.2</mybatis.spring.boot.starter.version>
        <fastjson.version>1.2.70</fastjson.version>
        <druid.version>1.1.14</druid.version>
        <commons.io.version>2.5</commons.io.version>
    </properties>

    <dependencies>
        <!-- alibaba druid -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
            <version>${druid.version}</version>
        </dependency>


        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.15</version>
        </dependency>

        <!-- SpringBoot Web -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>


        <!-- pool -->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-pool2</artifactId>
        </dependency>


        <!-- SpringBoot mybatis -->
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>${mybatis.spring.boot.starter.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-lang3</artifactId>
        </dependency>

        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>${commons.io.version}</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>${fastjson.version}</version>
        </dependency>

        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-context-support</artifactId>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.20</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
</project>

3. 请求结果

在这里插入图片描述

4. 总结

总的来说doris  可以当做一个mysql  数据库用mybatis 来操作, 因为他支持mybatis  协议。
  • 2
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
上层应用业务对实时数据的需求,主要包含两部分内容:1、 整体数据的实时分析。2、 AB实验效果的实时监控。这几部分数据需求,都需要进行的下钻分析支持,我们希望能够建立统一的实时OLAP数据仓库,并提供一套安全、可靠的、灵活的实时数据服务。目前每日新增的曝光日志达到几亿条记录,再细拆到AB实验更细维度时,数据量则多达上百亿记录,多维数据组合下的聚合查询要求秒级响应时间,这样的数据量也给团队带来了不小的挑战。OLAP层的技术选型,需要满足以下几点:1:数据延迟在分钟级,查询响应时间在秒级2:标准SQL交互引擎,降低使用成本3:支持join操作,方便维度增加属性信息4:流量数据可以近似去重,但订单行要精准去重5:高吞吐,每分钟数据量在千W级记录,每天数百亿条新增记录6:前端业务较多,查询并发度不能太低通过对比开源的几款实时OLAP引擎,可以发现Doris和ClickHouse能够满足上面的需求,但是ClickHouse的并发度太低是个潜在的风险,而且ClickHouse的数据导入没有事务支持,无法实现exactly once语义,对标准SQL的支持也是有限的。所以针对以上需求Doris完全能解决我们的问题,DorisDB是一个性能非常高的分布式、面向交互式查询的分布式数据库,非常的强大,随着互联网发展,数据量会越来越大,实时查询需求也会要求越来越高,DorisDB人才需求也会越来越大,越早掌握DorisDB,以后就会有更大的机遇。本课程基于真实热门的互联网电商业务场景为案例讲解,具体分析指标包含:AB版本分析,下砖分析,营销分析,订单分析,终端分析等,能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。整个课程,会带大家实践一个完整系统,大家可以根据自己的公司业务修改,既可以用到项目中去,价值是非常高的。本课程包含的技术:开发工具为:IDEA、WebStormFlink1.9.0DorisDBHadoop2.7.5Hbase2.2.6Kafka2.1.0Hive2.2.0HDFS、MapReduceFlume、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.8.RELEASESpringCloud Finchley.SR2Vue.js、Nodejs、Highcharts、ElementUILinux Shell编程等课程亮点:1.与企业接轨、真实工业界产品2.DorisDB高性能分布式数据库3.大数据热门技术Flink4.支持ABtest版本实时监控分析5.支持下砖分析6.数据分析涵盖全端(PC、移动、小程序)应用7.主流微服务后端系统8.天级别与小时级别多时间方位分析9.数据库实时同步解决方案10.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI11.集成SpringCloud实现统一整合方案12.互联网大数据企业热门技术栈13.支持海量数据的实时分析14.支持全端实时数据分析15.全程代码实操,提供全部代码和资料16.提供答疑和提供企业技术方案咨询企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。 
课程总体架构请观看89讲。数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,用于对管理决策过程的支持。数据仓库的应用有:1.数据分析、数据挖掘、人工智能、机器学习、风险控制、无人驾驶。2.数据化运营、精准运营。3.广告精准、智能投放等等。数据仓库是伴随着企业信息化发展起来的,在企业信息化的过程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术也在不停的发展。数据仓库有两个环节:数据仓库的构建与数据仓库的应用。随着IT技术走向互联网、移动化,数据源变得越来越丰富,在原来业  务数据库的基础上出现了非结构化数据,比如网站log,IoT设备数据,APP埋点数据等,这些数据量比以往结构化的数据大了几个量级,对ETL过程、存储都提出了更高的要求。互联网的在线特性也将业务需求推向了实时化 ,随时根据当前客户行为而调整策略变得越来越常见,比如大促过程中库存管理,运营管理等(即既有中远期策略型,也有短期操作型)。同时公司业务互联网化之后导致同时服务的客户剧增,有些情况人工难以完全处理,这就需要机器 自动决策 。比如欺诈检测和用户审核。总结来看,对数据仓库的需求可以抽象成两方面: 实时产生结果、处理和保存大量异构数据。本课程基于真实热门的互联网电商业务场景为案例讲解,结合分层理论和实战对数仓设计进行详尽的讲解,基于Flink+DorisDB实现真正的实时数仓,数据来及分析,实时报表应用。具体数仓报表应用指标包括:实时大屏分析、流量分析、订单分析、商品分析、商家分析等,数据涵盖全端(PC、移动、小程序)应用,与互联网企业大数据技术同步,让大家能够学到大数据企业级实时数据仓库的实战经验。本课程包含的技术: 开发工具为:IDEA、WebStorm Flink 1.11.3Hadoop 2.7.5Hive 2.2.0ZookeeperKafka 2.1.0、Spring boot 2.0.8.RELEASESpring Cloud Finchley.SR2Flume 、Hbase 2.2.6DorisDB 0.13.9、RedisVUE+jQuery+Ajax+NodeJS+ElementUI+Echarts+Datav等课程亮点: 1.与企业接轨、真实工业界产品2.DorisDB高性能分布式数据库3.大数据热门技术Flink最新版4.真正的实时数仓以及分层设计5.海量数据大屏实时报表6.数据分析涵盖全端(PC、移动、小程序)应用7.主流微服务后端系统8.数据库实时同步解决方案9.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI+Echarts+Datav10.集成SpringCloud实现统一整合方案11.互联网大数据企业热门技术栈12.支持海量数据的实时数仓报表分析13.支持全端实时实时数仓报表分析14.全程代码实操,提供全部代码和资料 15.提供答疑和提供企业技术方案咨询企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。 
要在Spring框架中连接Doris数据库,你可以按照以下步骤进行操作: 1. 首先,在你的项目中添加Doris JDBC驱动的依赖。你可以在pom.xml文件中添加以下依赖项: ```xml <dependency> <groupId>org.apache.doris</groupId> <artifactId>doris-jdbc</artifactId> <version>0.14.0</version> <!-- 根据你使用的Doris版本进行调整 --> </dependency> ``` 2. 在Spring的配置文件中配置数据源。你可以使用`org.apache.doris.jdbc.Driver`作为驱动类,以及Doris数据库的连接URL、用户名和密码等信息。例如: ```xml <bean id="dataSource" class="org.springframework.jdbc.datasource.DriverManagerDataSource"> <property name="driverClassName" value="org.apache.doris.jdbc.Driver" /> <property name="url" value="jdbc:doris://localhost:9030/database_name" /> <property name="username" value="your_username" /> <property name="password" value="your_password" /> </bean> ``` 请注意,将`localhost:9030`替换为你的Doris数据库实例的主机名和端口号,`database_name`替换为你要连接的数据库名称。 3. 配置一个JdbcTemplate bean以便于执行SQL语句。例如: ```xml <bean id="jdbcTemplate" class="org.springframework.jdbc.core.JdbcTemplate"> <property name="dataSource" ref="dataSource" /> </bean> ``` 4. 现在,你可以在Spring应用程序的代码中使用注入的JdbcTemplate对象来执行Doris数据库的操作。例如: ```java @Autowired private JdbcTemplate jdbcTemplate; public void queryData() { String sql = "SELECT * FROM your_table"; List<Map<String, Object>> results = jdbcTemplate.queryForList(sql); // 处理查询结果 // ... } ``` 这样,你就可以使用Spring来连接和操作Doris数据库了。请确保你已经正确配置了Doris数据库的连接信息,包括主机名、端口号、数据库名称、用户名和密码等。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值