mysql 字段转元数据_Apache Druid元数据从Derby转成MySQL

最新推荐文章于 2023-05-08 17:26:36 发布
最新推荐文章于 2023-05-08 17:26:36 发布
阅读量314 收藏
点赞数
文章标签： mysql 字段转元数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42680139/article/details/113266558
版权

Druid元数据从Derby转成MySQL

默认情况下使用的是Derby数据库，Derby非常小巧，核心部分derby.jar只有2M，所以既可以做为单独的数据库服务器使用，也可以内嵌在应用程序中使用,但是Druid部署集群的模式下，或者Druid的单机规模数据很多的情况，这里就不适合使用Derby,测试情况下倒是挺合适的。

本文档就是把已经运行一段时间的Druid单机服务的元数据迁移到MySQL上，同时使用MySql当成元数据库

数据也是真实的，运行了几个小时，共有60250160条数据

把元数据导出到CSV文件中

安装MySQL数据库

配置好，可以允许远程登录 MySQL中的一些问题可以参考 在Linux下使用Mysql常见的问题集锦

创建一个数据库(demo)

CREATE USER 'demo'@'%' IDENTIFIED BY 'demo';

CREATE DATABASE demo DEFAULT CHARACTER SET utf8;

GRANT ALL PRIVILEGES ON *.* TO 'demo'@'%' WITH GRANT OPTION;

commit;

配置Druid的元数据管理信息

修改配置

vim DRUID_HOME/conf-quickstart/druid/_common/common.runtime.properties

druid.extensions.loadList=["druid-kafka-indexing-service","mysql-metadata-storage"]

# For Derby server on your Druid Coordinator (only viable in a cluster with a single Coordinator, no fail-over):

#druid.metadata.storage.type=derby

#druid.metadata.storage.connector.connectURI=jdbc:derby://localhost:1527/var/druid/metadata.db;create=true

#druid.metadata.storage.connector.host=localhost

#druid.metadata.storage.connector.port=1527

# For MySQL:

druid.metadata.storage.type=mysql

druid.metadata.storage.connector.connectURI=jdbc:mysql://192.168.1.91:3306/demo

druid.metadata.storage.connector.user=demo

druid.metadata.storage.connector.password=demo

下载MySQL的扩展包及的驱动包(默认当前版本没有MySQL的扩展包,到后面的版本默认就有MySQL扩展的包了)

cd /opt/install

wget http://static.druid.io/artifacts/releases/mysql-metadata-storage-0.12.0.tar.gz

tar -zxf mysql-metadata-storage-0.12.0.tar.gz -C druid-0.12.0/extensions/

ll druid-0.12.0/extensions/mysql-metadata-storage

-rw-r--r-- 1 501 games 983911 Apr 21 2016 mysql-connector-java-5.1.38.jar

-rw-r--r-- 1 501 games 10476 Mar 8 2018 mysql-metadata-storage-0.12.0.jar

上传从DerBy导出的CSV文件

默认上传到/var/lib/mysql-files/目录下，这样MySQL才有权限执行加载这个目录下的文件

[root@itdeer ~]# ll /var/lib/mysql-files/csv

total 116

-rw-r--r-- 1 root root 0 Jun 12 17:59 druid_config.csv

-rw-r--r-- 1 root root 0 Jun 12 17:59 druid_config_raw.csv

-rw-r--r-- 1 root root 172 Jun 12 17:59 druid_dataSource.csv

-rw-r--r-- 1 root root 246 Jun 12 17:59 druid_dataSource_raw.csv

-rw-r--r-- 1 root root 142 Jun 12 17:59 druid_rules.csv

-rw-r--r-- 1 root root 203 Jun 12 17:59 druid_rules_raw.csv

-rw-r--r-- 1 root root 32773 Jun 12 17:59 druid_segments.csv

-rw-r--r-- 1 root root 54426 Jun 12 17:59 druid_segments_raw.csv

-rw-r--r-- 1 root root 1654 Jun 12 17:59 druid_supervisors.csv

-rw-r--r-- 1 root root 2878 Jun 12 17:59 druid_supervisors_raw.csv

在导入数据之前需要有表

默认状态下Druid只要运行起来之后所有的元数据表都已经存在了。这里可以先运行一下Druid的coordinator服务，自动创建一下元数据表结构

或者使用一下命令创建也是可以的

/*

Navicat Premium Data Transfer

Source Server : node1

Source Server Type : MySQL

Source Server Version : 50721

Source Host : 192.168.1.91:3306

Source Schema : druid

Target Server Type : MySQL

Target Server Version : 50721

File Encoding : 65001

Date: 15/06/2020 15:34:26

*/

SET NAMES utf8mb4;

SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------

-- Table structure for druid_audit

-- ----------------------------

DROP TABLE IF EXISTS `druid_audit`;

CREATE TABLE `druid_audit` (

`id` bigint(20) NOT NULL AUTO_INCREMENT,

`audit_key` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`type` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`author` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`comment` varchar(2048) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`created_date` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`payload` longblob NOT NULL,

PRIMARY KEY (`id`) USING BTREE,

INDEX `idx_druid_audit_key_time`(`audit_key`, `created_date`) USING BTREE,

INDEX `idx_druid_audit_type_time`(`type`, `created_date`) USING BTREE,

INDEX `idx_druid_audit_audit_time`(`created_date`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 51 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for druid_config

-- ----------------------------

DROP TABLE IF EXISTS `druid_config`;

CREATE TABLE `druid_config` (

`name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`payload` longblob NOT NULL,

PRIMARY KEY (`name`) USING BTREE

) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for druid_dataSource

-- ----------------------------

DROP TABLE IF EXISTS `druid_dataSource`;

CREATE TABLE `druid_dataSource` (

`dataSource` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL,

`created_date` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`commit_metadata_payload` longblob NOT NULL,

`commit_metadata_sha1` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

PRIMARY KEY (`dataSource`) USING BTREE

) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for druid_pendingSegments

-- ----------------------------

DROP TABLE IF EXISTS `druid_pendingSegments`;

CREATE TABLE `druid_pendingSegments` (

`id` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`dataSource` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL,

`created_date` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`start` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`end` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`sequence_name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`sequence_prev_id` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`sequence_name_prev_id_sha1` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`payload` longblob NOT NULL,

PRIMARY KEY (`id`) USING BTREE,

UNIQUE INDEX `sequence_name_prev_id_sha1`(`sequence_name_prev_id_sha1`) USING BTREE,

INDEX `idx_druid_pendingSegments_datasource_end`(`dataSource`, `end`) USING BTREE,

INDEX `idx_druid_pendingSegments_datasource_sequence`(`dataSource`, `sequence_name`) USING BTREE

) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for druid_rules

-- ----------------------------

DROP TABLE IF EXISTS `druid_rules`;

CREATE TABLE `druid_rules` (

`id` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`dataSource` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL,

`version` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`payload` longblob NOT NULL,

PRIMARY KEY (`id`) USING BTREE,

INDEX `idx_druid_rules_datasource`(`dataSource`) USING BTREE

) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for druid_segments

-- ----------------------------

DROP TABLE IF EXISTS `druid_segments`;

CREATE TABLE `druid_segments` (

`id` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`dataSource` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL,

`created_date` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`start` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`end` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`partitioned` tinyint(1) NOT NULL,

`version` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`used` tinyint(1) NOT NULL,

`payload` longblob NOT NULL,

PRIMARY KEY (`id`) USING BTREE,

INDEX `idx_druid_segments_used`(`used`) USING BTREE,

INDEX `idx_druid_segments_datasource_used_end`(`dataSource`, `used`, `end`) USING BTREE

) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for druid_supervisors

-- ----------------------------

DROP TABLE IF EXISTS `druid_supervisors`;

CREATE TABLE `druid_supervisors` (

`id` bigint(20) NOT NULL AUTO_INCREMENT,

`spec_id` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`created_date` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`payload` longblob NOT NULL,

PRIMARY KEY (`id`) USING BTREE,

INDEX `idx_druid_supervisors_spec_id`(`spec_id`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for druid_tasklocks

-- ----------------------------

DROP TABLE IF EXISTS `druid_tasklocks`;

CREATE TABLE `druid_tasklocks` (

`id` bigint(20) NOT NULL AUTO_INCREMENT,

`task_id` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,

`lock_payload` longblob NULL,

PRIMARY KEY (`id`) USING BTREE,

INDEX `idx_druid_tasklocks_task_id`(`task_id`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 55 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for druid_tasklogs

-- ----------------------------

DROP TABLE IF EXISTS `druid_tasklogs`;

CREATE TABLE `druid_tasklogs` (

`id` bigint(20) NOT NULL AUTO_INCREMENT,

`task_id` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,

`log_payload` longblob NULL,

PRIMARY KEY (`id`) USING BTREE,

INDEX `idx_druid_tasklogs_task_id`(`task_id`) USING BTREE

) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

-- ----------------------------

-- Table structure for druid_tasks

-- ----------------------------

DROP TABLE IF EXISTS `druid_tasks`;

CREATE TABLE `druid_tasks` (

`id` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`created_date` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,

`datasource` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL,

`payload` longblob NOT NULL,

`status_payload` longblob NOT NULL,

`active` tinyint(1) NOT NULL DEFAULT 0,

PRIMARY KEY (`id`) USING BTREE,

INDEX `idx_druid_tasks_active_created_date`(`active`, `created_date`) USING BTREE

) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

导入文件

mysql -u demo -p

mysql> LOAD DATA INFILE '/var/lib/mysql-files/csv/druid_segments.csv' INTO TABLE druid_segments FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"' (id,dataSource,created_date,start,end,partitioned,version,used,payload); SHOW WARNINGS;

Query OK, 41 rows affected (0.01 sec)

Records: 41 Deleted: 0 Skipped: 0 Warnings: 0

Empty set (0.00 sec)

mysql> LOAD DATA INFILE '/var/lib/mysql-files/csv/druid_rules.csv' INTO TABLE druid_rules FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"' (id,dataSource,version,payload); SHOW WARNINGS;

Query OK, 1 row affected (0.00 sec)

Records: 1 Deleted: 0 Skipped: 0 Warnings: 0

Empty set (0.00 sec)

mysql> LOAD DATA INFILE '/var/lib/mysql-files/csv/druid_config.csv' INTO TABLE druid_config FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"' (name,payload); SHOW WARNINGS;

Query OK, 0 rows affected (0.00 sec)

Records: 0 Deleted: 0 Skipped: 0 Warnings: 0

Empty set (0.00 sec)

mysql> LOAD DATA INFILE '/var/lib/mysql-files/csv/druid_dataSource.csv' INTO TABLE druid_dataSource FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"' (dataSource,created_date,commit_metadata_payload,commit_metadata_sha1); SHOW WARNINGS;

Query OK, 1 row affected (0.01 sec)

Records: 1 Deleted: 0 Skipped: 0 Warnings: 0

Empty set (0.00 sec)

mysql> LOAD DATA INFILE '/var/lib/mysql-files/csv/druid_supervisors.csv' INTO TABLE druid_supervisors FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"' (id,spec_id,created_date,payload); SHOW WARNINGS;

Query OK, 2 rows affected (0.00 sec)

Records: 2 Deleted: 0 Skipped: 0 Warnings: 0

Empty set (0.00 sec)

查看结果

访问界面(http://IP:8081) Druid DataDource Console界面(数据源和之前是一样的)

d2441e0c3220

20206122315

查询数据(数据条数也是正确的)

d2441e0c3220

202061223118

至此把Druid的元数据管理从DerBy数据库替换成MySQL数据库完成

何欣颜
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Derby的系统表结构
07-14
Derby的系统表结构,列出Derby的系统表及表结构
mysql 字段转元数据_元数据--MySQL获取元数据的方法
weixin_40001275的博客
01-19 371
元数据：数据的数据，用以描述数据的信息也是数据，被称为元数据[MySQL]获取元数据的方法MySQL提供了以下三种方法用于获取数据库对象的元数据：1)show语句2)从INFORMATION_SCHEMA数据库里查询相关表(information_schema是一个虚拟数据库，并不物理存在，它储存数据的信息的数据库)3)命令行程序，如mysqlshow, mysqldump--用SHOW语句获取元...
druid metadata
weixin_34239169的博客
11-07 216
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive安装与部署使用mysql元数据库安装。
weixin_45429161的博客
06-04 298
hive使用mysql元数据库安装 一：所需环境 apache-hive-1.2.2-bin.tar.gz 安装包 mysql-connector-java-5.1.6-bin.jar （mysql的jar包） 二：安装步骤 默认情况下，hive元数据保存在derby数据库中，只能允许一个会话连接，只适合做测试。为了支持多用户多会话，则需要一个独立的元数据库，配置mysql作为元数据库。 1：安装mysql [root@h201 Desktop ]# yum -y install mysql* [root
MySQL官网下载mysql的jar包步骤
weixin_73692078的博客
05-08 4484
追风而去，执长剑纵马，执妙笔生花，我王某人在此邀请诸位与我共身！“少年没有乌托邦，心向远方自明朗”以后想进行数据库编程时，就把这个。在这个文件里面有一个。
springboot+mysql+oracle+druid 双数据库进行数据同步
08-13
在本项目中，Oracle作为源数据库，MySQL作为目标数据库，数据同步就是从Oracle流向MySQL。 **Oracle数据库**：Oracle是一款高性能的关系型数据库管理系统，广泛应用于大型企业级应用。在数据同步过程中，Oracle作为...
SpringBoot + mybatis-plus + druid 实现mySql与Orcl双数据源
01-12
总结起来，通过SpringBoot、Mybatis-Plus和Druid，我们可以方便地实现双数据源配置，使得应用能同时处理MySQL和Oracle数据库的数据。在实际开发中，要根据业务场景灵活切换数据源，确保数据操作的正确性和效率。同时...
springboot druid maven多数据源（mysql+SqlServer）
03-27
本项目将介绍如何在SpringBoot项目中结合Maven构建一个支持多数据源的系统，特别是如何处理MySQL和SQLServer两种不同的数据库类型，并使用Druid作为数据源连接池。 首先，我们需要理解“多数据源”这一概念。多数据...
Java_Apache Druid一个高性能的实时分析数据库.zip
最新发布
05-22
在实际使用中，你可以通过`druid_master.zip`解压获取Druid的源码和文档，通过`说明.txt`了解更详细的部署和配置步骤。学习和掌握Druid，能帮助你在Java环境中构建高效的数据分析平台，满足业务对实时数据处理的需求...
spring-boot_mysql_mybatis_druid
09-06
在IT领域，Spring Boot、MySQL、MyBatis和Druid是常见的开发工具和技术，它们各自在Web应用开发中扮演着重要角色。让我们深入探讨一下这些技术及其整合。 **Spring Boot** 是一个基于Spring框架的快速开发工具，它...
derby数据库转sql、db2等其他数据库的简易工具
03-18
朋友手工制作，derby数据库和其他数据库的转换工具，简易实用。高手可直接用命令提示符便可使用该工具
计算金额分转元，元转分，计算精准度
Jiang的博客
03-04 545
计算金额分转元，元转分，计算精准度
Druid连接池的使用
litao19920203的博客
12-15 2469
Druid连接池的配置使用，多数据源的配置使用
mysql8设置字段内容区分大小写
chencaw的专栏
12-12 2631
要点如下：将要区分大小写的字段上直接设置如下内容 CHARACTER SET utf8mb4 COLLATE utf8mb4_bin 字段设置为区分大小写、 SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for chentest -- ---------------------------- DROP TABLE IF EXISTS `chen..
druid连接derby数据库报错的问题——2016.12.06
ronger4846的博客
12-06 6950
背景描述：根据项目需求，使用druid连接池连接mysql数据库和derby数据库； 问题描述：在derby数据库环境下报错：init dataSource error Encounter "" at~~~。 分析方法：初始化数据时报错，应为配置文件中有错误，分段屏蔽配置文件，确认产生报错的配置项为：validationQuery:SELECT 'x'。 将该配置项注释后又报错：
Hive 安装
weixin_46787788的博客
07-08 94
#1、解压和改名hive tar -zxvf /opt/download/hadoop/apache-hive-3.1.2-bin.tar.gz -C /opt/software/ mv /opt/software/apache-hive-3.1.2-bin /opt/software/hive312 #2、配置 cd /opt/software/hive312/conf mv hive-default.xml.template hive-default.xml vim hive-site.xm
Derby的导入与导出功能详解
梨木乔
05-21 8957
   最近为了解决大容量CSV文件的读取问题不得不转向Derby的学习，因为客户又提出解析CS文件的新需求，而CSVdrive那个鸟东西实在是接口少的可怜，最新的版本也是在04年出的，幸好现在捞到Derby这根救命稻草，按我的想法，是先将csv文件批量移植到Derby数据库中，然后利用Derby强大丰富的sql语句功能，然后解析数据，必然事半功倍。 由于本项目针对Derby某一功能的使用，由于进度
Druid.io从0.10.0到0.12.0新特性介绍
小龙的博客
04-05 2077
Druid-0.10.0新特性1. 内置SQL查询Druid在该版本提供了一个由Apache Calcite支持的内置SQL查询。它提供了两种查询类型：HTTP POST和JDBC。这为开发人员提供了一种新的JSON查询方式的替代方案，并且可以更容易的集成已有原生SQL的应用程序。该版本的SQL尚无法支持全部的JSON功能。在未来的版本中会陆续支持。启用Druid的SQL查询的方式为在配置文件中设...
Apache Druid(0.15.0版本)数据迁移/数据保留规则实际使用指南（更新中）
qq_34864753的博客
09-05 1664
1. 数据迁移(两个Druid集群间数据迁移) 参考https://blog.csdn.net/u012164361/article/details/87881926 1.1拷贝老集群segments到新集群指定目录下（由于公司有oss，我这边就用oss做了中间存储，老Druid集群 HDFS Deep Storage目录下数据--->OSS--->新hdfs集群...
快手大数据平台：元数据建设进展与应用场景解析
首先，薛言介绍了元数据的基本概念，强调元数据是关于数据的数据，包括数据表如Hive表、Clickhouse表、Druid数据源和Kafka Topic，以及生产任务如离线调度任务、数据同步任务和实时计算任务。通过理解数据表之间的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值