不同环境迁移和hive等不同数据源迁移数据到Doris的解决方案

大模型大数据攻城狮

已于 2024-03-24 07:52:51 修改

阅读量452

点赞数

分类专栏： Spark/Flink/Doris离线&实时数仓开发文章标签： hive hadoop 数据仓库 doris 运维 etl

于 2024-03-19 08:20:16 首次发布

本文链接：https://blog.csdn.net/linweidong/article/details/136828194

版权

Spark/Flink/Doris离线&实时数仓开发专栏收录该内容

99 篇文章 18 订阅 ¥9.90 ¥99.00

订阅专栏

本文介绍了在项目开发中如何高效地进行Doris不同开发环境的表结构和数据迁移，包括使用代码迁移表结构和数据。同时，讨论了从Hive不同数据源迁移到Doris的方法，推荐了X2Doris工具，它支持Apache Doris、Hive等数据库的数据迁移，并提供了可视化操作，简化了数据同步流程。

摘要由CSDN通过智能技术生成

1、Doris不同开发环境迁移

在项目开发时，需要开发环境、测试环境、uat环境、预生产环境、生产环境。常常遇到这样的场景：需要把某个环境的所有表结构和数据都迁移到某个环境。手动去操作是耗时耗力的，这时需要通过代码或工具来高效执行。

1.1 使用代码进行迁移表结构

/**
 * 根据读取doris的库名，批量把该库名所有表的表结构备份出来
 */
public class DorisTableSchemaExtractor {

    private static final String DORIS_JDBC_URL = "jdbc:mysql://doris的ip:9030/";
    private static final String DORIS_USER = "doris用户名";
    private static final String DORIS_PASSWORD = "doris密码";
    private static final String OUTPUT_FILE = "table_schemas.txt";

    public static void main(String[] args) {
        String databaseName = "casemanagex_console";
        List<String> tableNames = getTableNames(databaseName);
        Lis

了解本专栏