数仓建模—美团DB数据同步到数据仓库的架构与实践

于 2024-05-03 08:55:37 发布
阅读量106 收藏
点赞数
分类专栏： 数仓建模 文章标签： 数据仓库 架构 数仓建模
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84052244/article/details/138409515
版权

文章目录

数仓建模—美团DB数据同步到数据仓库的架构与实践

前面我们介绍了数据同步方案的设计，你可以参考数仓建模—数据同步方案设计，前面我们也说了，我们基于binlog 实现的数据同步方案，基本是都是基于下面架构的改造实现

image-20211221175058693这里我们就看一下美团的一个实现，本文主要从Binlog实时采集和离线处理Binlog还原业务数据两个方面，来介绍如何实现DB数据准确、高效地进入数仓。

整体架构

img

整体的架构如上图所示。在Binlog实时采集方面，我们采用了阿里巴巴的开源项目Canal，负责从MySQL实时拉取Binlog并完成适当解析。Binlog采集后会暂存到Kafka上供下游消费。整体实时采集部分如图中红色箭头所示。

离线处理Binlog的部分，如图中黑色箭头所示，通过下面的步骤在Hive上还原一张MySQL表：

  1. 采用Linkedin的开源项目Camus，负责每小时把Kafka上的Binlog数据拉取到Hive上。
  2. 对每张ODS表，首先需要一次性制作快照（Snapshot），把MySQL里的存量数据读取到Hive上，这一过程
了解本专栏 订阅专栏 解锁全文 超级会员免费看
猫猫姐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
Mysql同步到Hive实例
wushuoyouting的博客
05-27 833
Mysql同步到Hive实例 以下实例均为本地模式下运行完成，主要是针对Mysql数据同步到Hive的实例说明。将介绍mysqlreader和hivewrite的所有参数配置的使用。 mysqlwrite参数说明：https://github.com/DTStack/flinkx/blob/1.10_release/docs/offline/reader/mysqlreader.md hiveread参数说明：https://github.com/DTStack/flinkx/blob/1.10_relea
美团DB数据同步到数据仓库的架构与实践
weixin_34310785的博客
12-07 1047
背景 在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。 如何准...
MySQL 同步hive 实时性_从MySQL同步数据到Hive的操作参数解析
weixin_42319263的博客
02-27 961
: 指定导入数据的hdfs路径–目标路径–query :从查询结果中导入数据，与–target-dir共用–hive-table:导入的hive表–hive-database:导入的hive库–where :从关系型数据库导入数据时的查询条件,接where的查询条件。例如:‘–where id<100’–null-non-string:指定非字符串类型为null时的替代字符–null-str...
同步mysql数据到hive
尘世间的一个小书童
05-10 921
  1. 下载sqoop 地址为：http://archive.cloudera.com/cdh/3/下载相应版本，如sqoop-1.2.0-CDH3B4.tar.gz 2. 下载 hadoop 地址为：http://archive.cloudera.com/cdh/3/，版本可以为hadoop-0.20.2-CDH3B4.tar.gz 3.解压 sqoop-1.2.0-CDH3B4.t...
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
数据仓库知识与实战——电信运营商数仓建模
02-24
总体架构上,数据仓库设计人,过程和技术去实现提供一致性,集成化，标准化以及易于理解的决策支持数据的目标。一个数据仓库是一个数据的仓库,数据仓库里的数据是其他数据介质可操作数据的副本,这些数据通常是从多个...
mysql到hive调度工具_从MySQL到Hive，数据迁移就这么简单
weixin_39750598的博客
12-22 494
使用Sqoop能够极大简化MySQL数据迁移至Hive之流程，并降低Hadoop处理分析任务时的难度。先决条件:安装并运行有Sqoop与Hive的Hadoop环境。为了加快处理速度，我们还将使用Cloudera Quickstart VM(要求至少4 GB内存)，不过大家也可以使用Hortonworks Data Platform(至少要求8 GB内存)。由于我的笔记本电脑只有8 GB内存，因此我...
mysql实时同步到hive_MySQL同步到Hive操作步驟
weixin_28958239的博客
02-18 759
1. 下載sqoop地址為：http://archive.cloudera.com/cdh/3/下載相應版本，如sqoop-1.2.0-CDH3B4.tar.gz2. 下載 hadoop地址為：http://archive.cloudera.com/cdh/3/，版本可以為hadoop-0.20.2-CDH3B4.tar.gz3.解壓 sqoop-1.2.0-CDH3B4.tar.gz ，hado...
hive mysql 同步_同步mysql数据到hive
weixin_30767393的博客
01-18 500
1.下载sqoop地址为：http://archive.cloudera.com/cdh/3/下载相应版本，如sqoop-1.2.0-CDH3B4.tar.gz2.下载 hadoop地址为：http://archive.cloudera.com/cdh/3/，版本可以为hadoop-0.20.2-CDH3B4.tar.gz3.解压 sqoop-1.2.0-CDH3B4.tar.gz ，hadoop...
hive mysql 同步_hive数据同步（sqoop :Mysql ==>Hive,hive put 文件到hive)
weixin_29102619的博客
02-01 383
一、Sqoop同步mysql数据到hive：假设我们在Hive里新建了一张测试表info_test，该表对应mysql 数据库中info_test:CREATE TABLE info_test(id BIGINT,uid INT, name STRING, tel STRING, )row format delimitedfields terminated by '~' ;我们以‘~’分割字符，同...
mysql实时同步到hive_【转】美团 MySQL 数据实时同步到 Hive 的架构与实践
weixin_42318712的博客
02-02 1086
文章转载自公众号美团技术团队，作者 萌萌背景在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。如何准确、高效地把My...
Hive和MySQL数据互相导入
止鱼
02-13 9859
在实际场景中，举例子说明： 1· 数据从Hive导入MySQL： 先在MySQL中建表： CREATE TABLE `dg_user_visited` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `user_id` int(11) unsigned NOT NULL COMMENT '用户id', `agent_id` cha
如何将mysql数据导入hive中
06-26 6748
1.首先在hive中建表（尽量与mysql字段对应） 2. 将mysql中的表导出 txt格式 3.通过hadoop 上传到HDFS上 命令 hadoop dfs -put /home/hadoop/dim_station_trans_com_info.txt /user/hive/external/tables/dim/dim_station_trans_com_info 前面为 hadoop文件地址 ，后面为HDSF文件地址。 4.查看HDFS上是否成功 上...
数据转移-从MySQL到Hive
肥猫
07-13 8120
昨天小组组长给了一个新手任务： 我的本地电脑描述为PC-A，远程电脑PC-B上有个MySQL数据库，hadoop集群部署在测试服务器PC-C上。现在，需要把PC-B上的一些table导入到PC-C的Hive数据仓库中。怎么办？ 解决思路是这样： 利用Navicat软件连接到远程电脑PC-B的MySQL上，会发现MySQL中有很多个DataBases，每个db又有很多个Tables。选择...
Hive,Mysql,Sqoop安装使用数据导入导出
技术札记
04-22 512
Hive简介 Facebook开发构建与Hadoop之上的数据仓库，可以结构化数据文件映射为一张数据库表 提供完整的SQL查询功能，将SQL语句转换为MapReduce任务进行 适合静态数据分析，数据变化不频繁 不支持记录级别的更新插入或者删除，不支持事务 提供ETL数据提取转化加载，可以维护海量数据，对数据挖掘后形成任意报告表单 Hive SQL 和 Mysql 更接近 分区表 按照分区...
美团 MySQL 数据实时同步到 Hive 的架构与实践
yyoc97的专栏
10-08 6161
文章转载自公众号美团技术团队，作者 萌萌 背景 在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS（Operational Data Store）数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。 如何准确、...
云原生数据中台架构、方法论与实践 pdf
最新发布
06-21
### 回答1： 云原生数据中台架构、方法论与实践是一本关于数据中台的书籍。数据中台是一种集成不同业务系统和数据源的平台，以满足用户需求并提高企业决策的能力。云原生数据中台则是以云原生技术为基础，使用微服务架构和容器化技术，实现高可用、高性能、高扩展性的数据中台。 本书分为三部分：架构原理、方法论和实践案例。架构原理部分介绍了云原生数据中台的建设思路和设计原则，包括微服务架构、DevOps、容器化等内容。方法论部分重点阐述数据中台建设中的核心概念和流程，如数据建模、数据采集、数据处理和数据服务等。实践案例部分则以企业实际案例为例，深入说明数据中台在实际场景中的应用和经验。 本书的特点在于将云原生技术和数据中台建设结合起来，提出了一种全新的数据中台建设思路和方法论。通过本书的学习，读者可以深入了解云原生技术和数据中台构建的最佳实践，以及如何将其应用于企业实践中，提高企业数据决策能力和竞争力。 总体来说，云原生数据中台架构、方法论与实践是一本非常实用的指南，适用于希望深入了解数据中台建设和云原生技术的从业人员，以及希望在企业实践中应用数据中台的决策者和管理人员。 ### 回答2： “云原生数据中台架构、方法论与实践”是一篇对云原生架构下的数据中台建设进行阐述和实践的论文。首先，文章介绍了传统数据中台的局限性，包括数据孤岛、数据质量差等问题。接着，作者提出了云原生数据中台架构的概念，强调了其具有智能、弹性、灵活性等特点。云原生数据中台的基本架构包括数据采集、数据存储、数据计算和数据服务等四个层级，详细介绍了各层级应用的技术和工具。在方法论方面，作者提出了“全时节奏、全参与、全数据价值驱动”三个关键点，强调了数据中台建设需要全员参与和全生命周期的考虑。最后，论文以某电商平台的实践案例为例，详细介绍了云原生数据中台在实践中的应用和效果。总的来说，“云原生数据中台架构、方法论与实践”为我们提供了一种全新的数据中台建设思路和方法，可以为企业提高数据价值和效率提供有力的支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值