简单从华为云数据迁移(CDM)到数据仓(DWS)实际调研操作笔记

本文记录了从华为云CDM到DWS数据迁移的调研过程,包括创建集群、数据导入、性能测试及遇到的问题。在数据迁移中遇到DSC的复杂性和速度慢的问题,通过使用华为云数据迁移工具改善了全量迁移效率。尽管列存储显著提高了查询速度,但40秒的查询时间对于几亿数据量仍较长。本文旨在分享实践经验和潜在的挑战。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

系统最近报表查询量很大,特别是月初,服务器压力特别大,故考虑调研华为数据仓是否可以有效解决此场景,由于只花2天时间,故只是简单了解。由于公司内部对报表统计查询等操作是采取三条线调研,一条是把数据导入ES进行查询操作,一条是数栖平台(另一个同事去调研),一条是我调研的DWS。如果后续要采用这套系统,才会细节深入。

1、首先登陆官方帮助文档,先简单过一遍,因为单独看这个文档没啥用,特别是迁移这一块,易错且麻烦,由于我对产品的设计拙见,一直的思想是:傻瓜式的设计,第一步是什么,下一步是什么,然后我使用这个产品或者此处读这个文档我会遇到什么麻烦,我想知道的关键点着重标记。

https://support.huaweicloud.com/dws/index.html

2、上面是文档的主线,细节需要劳烦你的眼睛瞎逛,我的使用主线第一步是:下载他的可视化工具,不过其实navicat工具也可以,下载完毕,你需要去华为云数据仓控制台。
在这里插入图片描述
3、创建好集群,由于公司是长期合作关系,故搞了一张免费券调研,奈何运维把这券弄到了架构师的私人账号,里面欠费了,只有交清了费用才能使用优惠券,报不了账,我现在还冤大头的垫着呢(我本来不想提,但是同事告诉我,扣钱的时候他们可没手软,哈哈,世纪好同事)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值