Hologres数据迁移之holo-shipper

最新推荐文章于 2024-05-08 08:45:00 发布
最新推荐文章于 2024-05-08 08:45:00 发布
阅读量682 收藏 1
点赞数
分类专栏： holo-shipper hologres 文章标签： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uuilghiugiu/article/details/127263677
版权

此次实验基于以下网站：

alibabacloud-hologres-connectors/holo-shipper at master · aliyun/alibabacloud-hologres-connectors · GitHubHologres基于TPCH的性能测试介绍_阿里云开发者的博客-程序员ITS201 - 程序员ITS201

实验目的：测试迁移工具holo-shipper

实验结果：将一个Holo实例中的所有表ship到另一个Holo实例中

环境准备

1. 准备数据生成工具

  • 安装 git
yum install git
  • 安装gcc
yum install gcc
  • 下载 TPC-H 数据生成代码
git clone https://github.com/gregrahn/tpch-kit.git
  • 进入数据生成工具代码目录
cd tpch-kit/dbgen
  • 编译数据生成工具代码
make

2. 生成数据

  • 编译成功后，您可以使用如下代码查看代码生成工具的相关参数。
./dbgen --help
  • 本次测试仅生成 1 GB 数据，所以运行如下代码生成数据。
./dbgen -vf -s 1

准备数据

1. 创建表

  • 由于本文主要使用 psql 进行数据导入操作，需要先在 ECS 中运行如下命令安装 psql
yum install postgresql-server
  • 安装 psql 后，您可以使用如下命令登陆 Hologres 实例
PGUSER=<AccessID> PGPASSWORD=<AccessKey> psql -p <Port> -h <Endpoint> -d <Database>
  • 使用psql连接Hologres后，您可以使用如下建表语句创建数据库表

 

DROP TABLE IF EXISTS LINEITEM;

BEGIN;
CREATE TABLE LINEITEM
(
    L_ORDERKEY      INT         NOT NULL,
    L_PARTKEY       INT         NOT NULL,
    L_SUPPKEY       INT         NOT NULL,
    L_LINENUMBER    INT         NOT NULL,
    L_QUANTITY      DECIMAL(15,2) NOT NULL,
    L_EXTENDEDPRICE DECIMAL(15,2) NOT NULL,
    L_DISCOUNT      DECIMAL(15,2) NOT NULL,
    L_TAX           DECIMAL(15,2) NOT NULL,
    L_RETURNFLAG    TEXT        NOT NULL,
    L_LINESTATUS    TEXT        NOT NULL,
    L_SHIPDATE      TIMESTAMPTZ NOT NULL,
    L_COMMITDATE    TIMESTAMPTZ NOT NULL,
    L_RECEIPTDATE   TIMESTAMPTZ NOT NULL,
    L_SHIPINSTRUCT  TEXT        NOT NULL,
    L_SHIPMODE      TEXT        NOT NULL,
    L_COMMENT       TEXT        NOT NULL,
    PRIMARY KEY (L_ORDERKEY,L_LINENUMBER)
);
CALL set_table_property('LINEITEM', 'clustering_key', 'L_SHIPDATE,L_ORDERKEY');
CALL set_table_property('LINEITEM', 'segment_key', 'L_SHIPDATE');
CALL set_table_property('LINEITEM', 'distribution_key', 'L_ORDERKEY');
CALL set_table_property('LINEITEM', 'bitmap_columns', 'L_ORDERKEY,L_PARTKEY,L_SUPPKEY,L_LINENUMBER,L_RETURNFLAG,L_LINESTATUS,L_SHIPINSTRUCT,L_SHIPMODE,L_COMMENT');
CALL set_table_property('LINEITEM', 'dictionary_encoding_columns', 'L_RETURNFLAG,L_LINESTATUS,L_SHIPINSTRUCT,L_SHIPMODE,L_COMMENT');
CALL set_table_property('LINEITEM', 'time_to_live_in_seconds', '31536000');
COMMIT;

DROP TABLE IF EXISTS ORDERS;

BEGIN;
CREATE TABLE ORDERS
(
    O_ORDERKEY      INT         NOT NULL PRIMARY KEY,
    O_CUSTKEY       INT         NOT NULL,
    O_ORDERSTATUS   TEXT        NOT NULL,
    O_TOTALPRICE    DECIMAL(15,2) NOT NULL,
    O_ORDERDATE     timestamptz NOT NULL,
    O_ORDERPRIORITY TEXT        NOT NULL,
    O_CLERK         TEXT        NOT NULL,
    O_SHIPPRIORITY  INT         NOT NULL,
    O_COMMENT       TEXT        NOT NULL
);
CALL set_table_property('ORDERS', 'segment_key', 'O_ORDERDATE');
CALL set_table_property('ORDERS', 'distribution_key', 'O_ORDERKEY');
CALL set_table_property('ORDERS', 'colocate_with', 'LINEITEM');
CALL set_table_property('ORDERS', 'bitmap_columns', 'O_ORDERKEY,O_CUSTKEY,O_ORDERSTATUS,O_ORDERPRIORITY,O_CLERK,O_SHIPPRIORITY,O_COMMENT');
CALL set_table_property('ORDERS', 'dictionary_encoding_columns', 'O_ORDERSTATUS,O_ORDERPRIORITY,O_CLERK,O_COMMENT');
CALL set_table_property('ORDERS', 'time_to_live_in_seconds', '31536000');
COMMIT;

DROP TABLE IF EXISTS PARTSUPP;

BEGIN;
CREATE TABLE PARTSUPP
(
    PS_PARTKEY    INT    NOT NULL,
    PS_SUPPKEY    INT    NOT NULL,
    PS_AVAILQTY   INT    NOT NULL,
    PS_SUPPLYCOST DECIMAL(15,2) NOT NULL,
    PS_COMMENT    TEXT   NOT NULL,
    PRIMARY KEY(PS_PARTKEY,PS_SUPPKEY)
);
CALL set_table_property('PARTSUPP', 'distribution_key', 'PS_PARTKEY');
CALL set_table_property('PARTSUPP', 'colocate_with', 'LINEITEM');
CALL set_table_property('PARTSUPP', 'bitmap_columns', 'PS_PARTKEY,PS_SUPPKEY,PS_AVAILQTY,PS_COMMENT');
CALL set_table_property('PARTSUPP', 'dictionary_encoding_columns', 'PS_COMMENT');
CALL set_table_property('PARTSUPP', 'time_to_live_in_seconds', '31536000');
COMMIT;

DROP TABLE IF EXISTS PART;

BEGIN;
CREATE TABLE PART
(
    P_PARTKEY     INT    NOT NULL PRIMARY KEY,
    P_NAME        TEXT   NOT NULL,
    P_MFGR        TEXT   NOT NULL,
    P_BRAND       TEXT   NOT NULL,
    P_TYPE        TEXT   NOT NULL,
    P_SIZE        INT    NOT NULL,
    P_CONTAINER   TEXT   NOT NULL,
    P_RETAILPRICE DECIMAL(15,2) NOT NULL,
    P_COMMENT     TEXT   NOT NULL
);
CALL set_table_property('PART', 'distribution_key', 'P_PARTKEY');
CALL set_table_property('PART', 'colocate_with', 'LINEITEM');
CALL set_table_property('PART', 'bitmap_columns', 'P_PARTKEY,P_SIZE,P_NAME,P_MFGR,P_BRAND,P_TYPE,P_CONTAINER,P_COMMENT');
CALL set_table_property('PART', 'dictionary_encoding_columns', 'P_NAME,P_MFGR,P_BRAND,P_TYPE,P_CONTAINER,P_COMMENT');
CALL set_table_property('PART', 'time_to_live_in_seconds', '31536000');
COMMIT;



DROP TABLE IF EXISTS CUSTOMER;
BEGIN;
CREATE TABLE CUSTOMER
(
    C_CUSTKEY    INT    NOT NULL PRIMARY KEY,
    C_NAME       TEXT   NOT NULL,
    C_ADDRESS    TEXT   NOT NULL,
    C_NATIONKEY  INT    NOT NULL,
    C_PHONE      TEXT   NOT NULL,
    C_ACCTBAL    DECIMAL(15,2) NOT NULL,
    C_MKTSEGMENT TEXT   NOT NULL,
    C_COMMENT    TEXT   NOT NULL
);
CALL set_table_property('CUSTOMER', 'distribution_key', 'C_CUSTKEY');
CALL set_table_property('CUSTOMER', 'colocate_with', 'LINEITEM');
CALL set_table_property('CUSTOMER', 'bitmap_columns', 'C_CUSTKEY,C_NATIONKEY,C_NAME,C_ADDRESS,C_PHONE,C_MKTSEGMENT,C_COMMENT');
CALL set_table_property('CUSTOMER', 'dictionary_encoding_columns', 'C_NAME,C_ADDRESS,C_PHONE,C_MKTSEGMENT,C_COMMENT');
CALL set_table_property('CUSTOMER', 'time_to_live_in_seconds', '31536000');
COMMIT;

DROP TABLE IF EXISTS SUPPLIER;

BEGIN;
CREATE TABLE SUPPLIER
(
    S_SUPPKEY   INT    NOT NULL PRIMARY KEY,
    S_NAME      TEXT   NOT NULL,
    S_ADDRESS   TEXT   NOT NULL,
    S_NATIONKEY INT    NOT NULL,
    S_PHONE     TEXT   NOT NULL,
    S_ACCTBAL   DECIMAL(15,2) NOT NULL,
    S_COMMENT   TEXT   NOT NULL
);
CALL set_table_property('SUPPLIER', 'distribution_key', 'S_SUPPKEY');
CALL set_table_property('SUPPLIER', 'colocate_with', 'LINEITEM');
CALL set_table_property('SUPPLIER', 'bitmap_columns', 'S_SUPPKEY,S_NAME,S_ADDRESS,S_NATIONKEY,S_PHONE,S_COMMENT');
CALL set_table_property('SUPPLIER', 'dictionary_encoding_columns', 'S_NAME,S_ADDRESS,S_PHONE,S_COMMENT');
CALL set_table_property('SUPPLIER', 'time_to_live_in_seconds', '31536000');
COMMIT;

DROP TABLE IF EXISTS NATION;

BEGIN;
CREATE TABLE NATION(
  N_NATIONKEY INT NOT NULL PRIMARY KEY,
  N_NAME text NOT NULL,
  N_REGIONKEY INT NOT NULL,
  N_COMMENT text NOT NULL
);
CALL set_table_property('NATION', 'distribution_key', 'N_NATIONKEY');
CALL set_table_property('NATION', 'colocate_with', 'LINEITEM');
CALL set_table_property('NATION', 'bitmap_columns', 'N_NATIONKEY,N_NAME,N_REGIONKEY,N_COMMENT');
CALL set_table_property('NATION', 'dictionary_encoding_columns', 'N_NAME,N_COMMENT');
CALL set_table_property('NATION', 'time_to_live_in_seconds', '31536000');
COMMIT;

DROP TABLE IF EXISTS REGION;

BEGIN;
CREATE TABLE REGION
(
    R_REGIONKEY INT  NOT NULL PRIMARY KEY,
    R_NAME      TEXT NOT NULL,
    R_COMMENT   TEXT
);
CALL set_table_property('REGION', 'distribution_key', 'R_REGIONKEY');
CALL set_table_property('REGION', 'colocate_with', 'LINEITEM');
CALL set_table_property('REGION', 'bitmap_columns', 'R_REGIONKEY,R_NAME,R_COMMENT');
CALL set_table_property('REGION', 'dictionary_encoding_columns', 'R_NAME,R_COMMENT');
CALL set_table_property('REGION', 'time_to_live_in_seconds', '31536000');
COMMIT;
  • 创建完毕后，您能在 psql 中使用如下代码查看是否创建成功
tpch_1sf=# \dt
  • 若成功，现实效果如下
tpch_1sf=# \dt
               List of relations
 Schema |   Name   | Type  |       Owner        
--------+----------+-------+--------------------
 public | customer | table | tpch_1sf_developer
 public | lineitem | table | tpch_1sf_developer
 public | nation   | table | tpch_1sf_developer
 public | orders   | table | tpch_1sf_developer
 public | part     | table | tpch_1sf_developer
 public | partsupp | table | tpch_1sf_developer
 public | region   | table | tpch_1sf_developer
 public | supplier | table | tpch_1sf_developer
(8 rows)

2. 导入数据

  • 本测试方案主要使用 COPY FROM STDIN 的方式导入数据详细可以参考官方文档。此处会将此前生成的 tbl 数据文件导入 Hologres 中创建的表中。
  • 您可以在数据生成工具的目录中参考如下 shell脚本导入数据
for i in `ls *.tbl`; do
    echo $i;
    name=`echo $i| cut -d'.' -f1`;
    PGUSER=<AccessID> PGPASSWORD=<AccessKey> psql -p <Port> -h <Endpoint> -d <Database> -c "COPY $name from stdin with delimiter '|' csv;" < $i;
done
  • 至此您已完成数据导入

3. 收集统计信息

  • 为了更好的执行查询，可以在 psql 中使用如下语句，使 Hologres 收集各张表特征信息。
vacuum  region;
vacuum  nation;
vacuum  supplier;
vacuum  customer;
vacuum  part;
vacuum  partsupp;
vacuum  orders;
vacuum  lineitem;

analyze nation;
analyze region;
analyze lineitem;
analyze orders;
analyze customer;
analyze part;
analyze partsupp;
analyze supplier;

迁移开始

  • 源holo实例数据准备完成后，开始执行迁移数据到目的holo

  

  • 源holo和目的holo数据对比

 

 

天津托
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
holo数仓查看表存储明细函数
CalvinHXM的博客
04-23 310
当开发人员需要查看holo表的存储明细时，在没有可视化的界面基础上，很难评估数据的所占存储。
实时数仓-Hologres介绍与架构
weixin_43805705的博客
10-26 2480
本文是向大家介绍Hologres是一款实时HSAP产品，隶属阿里自研大数据品牌MaxCompute，兼容 PostgreSQL 生态、支持MaxCompute数据直接查询，支持实时写入实时查询，实时离线联邦分析，低成本、高时效、快速构筑企业实时数据仓库（Real-Time Data Warehouse）。
holo-calendar:适用于 Android 的 Holo 日历库
06-27
全息日历 适用于 Android 的 Holo 日历库。 该库基于 This is 的设计。 这个日历库使在你的 Android 应用程序中添加一个完整的日历视图变得简单。 该库包含一个视图，用于在 ViewPager 中显示单个月 (CalendarView) 和多个月 (MultiCalendarView)。 要使用这个库，您只需将它包含在您的构建中，并添加几行代码： 布局 XML 文件 <?xml version="1.0" encoding="utf-8"?> <com.vdesmet.lib.calendar.MultiCalendarView xmlns:android="http://schemas.android.com/apk/res/android" android:id="@+id/multi_calendar"
数据仓库之Hologres
最新发布
CherryXieのblog
05-08 2660
Hologres是阿里云推出的一种云原生的实时分析型数据仓库。它是基于开源项目Apache Hudi（Hadoop Upserts Deletes and Incrementals）进行扩展和优化的。Hologres提供了高性Hologres是阿里云推出的一种云原生的实时分析型数据仓库。它是基于开源项目Apache Hudi（Hadoop Upserts Deletes and Incrementals）进行扩展和优化的。Hologres提供了高性能、可扩展、实时的数据存储和分析能力。
实时数仓入门训练营：Hologres 数据导入/导出实践
阿里云开发者
07-22 2867
简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用，7 门精品课程帮助你 5 天时间从小白成长为大牛！本文整理自直播《Hologres 数据导入/导出实践-王华峰(继儒)》视频链接:https://developer.aliyun.com/learning/course/807
测试数据心得——holo
soldier_jw的博客
06-06 633
目前是做报表项目，经常会有新的报表通过新的视图呈现在前端，所以经常需要在新表里面造数据，有一个区划维度大概有100+,另外还有一些其他维度，此为背景，使用数据库为holo。
hologress迁移工具，holo-shipper
10-12
亲测hologress数据迁移工具holo-shipper-1.2.jar，https://blog.csdn.net/uuilghiugiu/article/details/127263677?spm=1001.2014.3001.5501
Holo-Apollo.zip
04-19
"holo-apollo.zip"可能是一个与Holo风格相关的开源项目或者资源集合，可能包含了实现Holo风格的各种组件、模板或者示例代码，供开发者参考和学习。这些资源可以帮助开发者更好地理解和运用Holo风格，提升应用的用户...
holo-cloud
03-07
"holo-cloud"是一个可能代表云服务或云计算平台的项目名称。从标签"SCSS"我们可以推断，这个项目在前端开发中使用了Sass（Syntactically Awesome Style Sheets）的一个扩展，即SCSS（Sassy CSS）。SCSS是CSS预处理器...
android Holo-Apollo源码.rar
11-02
【标题】"Android Holo-Apollo源码分析" 在Android开发领域，理解并研究源码是提升技术深度的重要途径。本资源"android Holo-Apollo源码.rar"提供了一个深入研究Android系统UI设计以及音乐播放器应用开发的宝贵资料...
hologres是干什么的？底层原理是什么？
长风破浪会有时的博客
06-22 1627
Hologres是一种由阿里云推出的分布式云数据仓库产品，旨在处理大规模数据存储和分析的需求。它结合了传统关系型数据库和分布式计算技术，提供了高性能的数据存储和实时分析能力。总的来说，Hologres通过将分布式存储和流式计算技术相结合，提供了高性能的数据存储和实时分析能力。分布式存储：Hologres采用分布式存储技术，将数据存储在多个节点上，以实现数据的高可用性和容错性。弹性伸缩：Hologres可以根据实际的数据负载和查询需求进行自动伸缩，提供高性能和高可用性。
Hologres使用小记
weixin_44996457的博客
11-26 4925
1、Hologres 0.8 创建数组类型外部表采坑 ODPS:CREATE TABLE `test_clue` ( `id_c` array<bigint>, `name` array<string> ) ; Holo: CREATE FOREIGN TABLE test_clue( id int8[], name text[]) SERVER odps_server OPTIONS(project_name 'itsl_dev', table_name 'test_
Hologres笔记
weixin_45510636的博客
04-01 3233
Hologres笔记 一、常用命令 -- 创建内部表 begin; create table [if not exists] [schema_name.]table_name( id bigint primary key, b text, ds text, ) partition by list(ds); commit; -- 创建子表 create table if not exists table_name_date_202101 partition of table_name fo
Hologres表设置操作
hsabrina的博客
05-16 999
基础属性的设置 distribution_key 指定分布列，数据将按照指定列，shuffle到各个shard set_table_property('public.dwd_intl_trd_pay_itm_buyer_ri', 'distribution_key', 'stat_ date,stat_hour,brand_id,seller_id'); clustering_key 指定一些列作为聚簇索引 set_table_property('public.dwd_intl_trd_pay
实时数仓-hologres使用总结
weixin_43805705的博客
11-02 3737
本期是从Hologres开发、数据同步实战、性能调优、运维等方面对hologres使用进行的全面总结。
实时数仓Hologres 【快速了解】
m0_47139992的博客
11-17 2369
实时数仓Hologres
Hologres&Flink搭建数仓
u014474768的博客
01-04 713
如果存的是自己的mysql就可以用Flink CDC同步过来原始数据存在RDS中把数据读取后先放入数据总线中DataHub作为原始数据存储(也可以放kafka)
scifi holo interface 下载
07-04
这可以是Wi-Fi网络或移动数据网络，确保下载过程顺利进行。 接下来，用户可以在他们的设备中打开应用商店或游戏平台应用。这可以是App Store（苹果设备）或Google Play（安卓设备），具体取决于用户使用的设备型号...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值