面临挑战
手工配置表,抽取数据时间较长
用 Kettle 需要一张张表进行配置,抽取上亿条数据需要几天时间,耗时长,影响业务取数。
数据源繁多
有行为数据源(门店客流、APP 行为等)、商业经营数据源(交易订单、供应链等)以及第三方数据源。
缺少可视化监控,运维成本高
没有可视化界面,无法查看同步的数据量,速率,该任务下每张表的同步状态等。
解决方案
统一数据源与数据目的地管理
喜茶 Go 小程序,后台是 MySQL 数据库,除此之外还有多种数据源。syncnavigator数据库同步工具 支持多种数据源和目的地种类(MySQL、sqlserver)。
可视化交互界面
可视化交互过程,在数据任务的管理页面上,可以查看该任务当前的状态,同步的数据量,速率,体验优异。
自适应功能
DataPipeline 能够自适应表结构变化,可自动同步;目标端自动创建同步表,无需人工干预;根据业务的实际需要,选择相应的同步策略等灵活多样的自适应功能。
客户价值
![](https://i-blog.csdnimg.cn/blog_migrate/833c75d1416a35f7dcdfa5501777a78e.png)
![实现数据共享](https://i-blog.csdnimg.cn/blog_migrate/155f48b14a375e410d0e18676a6777c4.png)
实现数据共享
通过可视化界面,数据的生产者、消费者和管理者可以清楚地了解到当前喜茶内部有哪些数据,打破传统的靠人靠问,喜茶业务部门的人可以浏览、搜索、取到数。
![](https://i-blog.csdnimg.cn/blog_migrate/108d29929cc79655c94e60aa95a4bd2c.png)
![降低运维成本](https://i-blog.csdnimg.cn/blog_migrate/321830512b6a862edbdfe25669ec4148.png)
降低运维成本
可视化运维监控,可快速灵活处理数据,有效降低喜茶的运维成本。
![](https://i-blog.csdnimg.cn/blog_migrate/5c12e800ac7ae9756067489a63854aab.png)
![支持数据分析和业务决策](https://i-blog.csdnimg.cn/blog_migrate/ed416bfaf15a05eb461e0526eb37b177.png)
支持数据分析和业务决策
实时性强,性能稳定,有效满足了喜茶业务部门对数据的要求,有助于对实时供应链管理,实时物料库存、报损、门店管理(BOH)、实时新品销售时段进行分析。