读大数据之路笔记

最新推荐文章于 2023-07-02 19:41:59 发布
最新推荐文章于 2023-07-02 19:41:59 发布
阅读量142 收藏
点赞数
分类专栏： 大数据 文章标签： 数据同步
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38625720/article/details/94429450
版权

数据同步

数据同步技术应用场景：
1.主数据库与备份数据库之间数据备份
2.主系统与子系统之间的数据更新
3.同类型不同集群数据库之间的数据同步
4.不同地域、不同数据库类型之间的数据传输交换（分布式业务系统与数据仓库之间的数据同步）
数据同步方式：
1.直连同步（ODBC/JDBC）对业务系统影响大
2.数据文件同步（）
3.数据库日志解析同步

qq_38625720
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据之路-阅读笔记
weixin_43810584的博客
02-09 1495
日志采集 浏览器的页面日志采集 页面浏览日志采集 页面交互日志采集 无线客户端的日志采集
大数据之路读书笔记
userkang的博客
11-27 368
总序 人类正从IT时代走向DT时代
大数据之路 读书笔记
weixin_30733003的博客
03-11 248
阿里的《大数据之路》记录了阿里的大数据系统的产生，演化和设计思路。是大数据进阶的经典书籍。 本篇读书笔记会按照《大数据之路》的目录结构，记录我在阅读这本书的时候， 名词解释 概述 结合电商业务场景的思考 摘要 以及疑惑 第一章：总述 概述：本章由马云的"人类已进入DT时代"，所有行业都离不开数据的赋能切入，简单介绍了阿里的，数据采集层，数据计算层，数据服务层，数据应用层...
《大数据之路》读书笔记
weixin_33877092的博客
03-21 223
数据技术篇 日志采集 数据同步 离线数据开发 实时技术 数据服务 数据挖掘 数据模型篇 大数据领域建模综述 阿里巴巴数据整合及管理体系 维度设计 事实表设计 数据管理篇 元数据 计算管理 存储和成本管理 数据质量 数据应用篇 生意参谋 对内数据产品平台 ...
大数据时代读书笔记2021年.pdf
06-01
大数据时代读书笔记2021年.pdf
大数据时期读书笔记.pdf
06-04
大数据时期读书笔记 大数据时期的三个转变： 1. 能够分析更多的数据，处置和某个现象相关的所有数据，而不是随机采样 2. 不热衷于精准度 3. 不热衷与寻觅因果关系 大数据时期的思维变革： 1. 缘故：没故意识处置...
阿里巴巴大数据实践-读书笔记
最新发布
05-20
阿里巴巴大数据实践-读书笔记，提纲挈领
大数据读书笔记.docx
12-24
大数据读书笔记 【篇一：大数据 读后感】 从徐子沛的《大数据》中得到的感悟 数据，对于我们现代社社会来说，已经是再熟悉不过了。大量化（volume）、多样化（variety）、快速化（velocity）和大价值（value）。这四...
《大数据》读书笔记.docx
11-06
《大数据》这本书深入探讨了大数据对我们现代社会的影响，其核心概念是大数据的四个基本特征：大量化（Volume）、多样化（Variety）、快速化（Velocity）和大价值（Value）。这些特征揭示了数据在当今世界中的重要性...
大数据之路读书笔记-01总述
数字人生
07-05 291
2014 年，马云提出，“人类正从 IT 时代走向 DT 时代 ”如果说IT时代是以自我控制、自我管理为主，那么到了 DT (Data Technology) 时代，则是以服务大众、激发生产力为主。以互联网（或者物联网）、云计算、大数据和人工智能为代表的新技术革命正在渗透至各行各业，悄悄地改变着我们的生活。 在DT 时代，人们比以往任何时候更能收集到更丰富的数据。 JDC的报告显示：预计到 2020 年，全球数据总量将超过 40ZB （相当于 40万亿 GB ），这一数据量是 2011 年的 22 倍！正在
阿里-大数据之路整理笔记
qq_35444549的博客
08-22 946
注：此为阿里架构，如有冒犯，多多包涵。 概述 1.数据采集层： ①．数据采集体系：Aplus.JS是Web端日期采集技术方案；UserTrack是APP端日期采集技术方案。 ②．在传输方面采用TimeTunnel（TT），它既包括数据库的增量数据传输，也包括日志数据的传输，其作为数据传输服务的基础架构，既支持实时流式计算，也支持各种时间窗口的批量计算，通过数据库同步工具（DataX和同步中心，同步中心是基于DataX的易用性封装的）直连异构数据库来抽取各种时间窗口的数据。 2.数据计算层： ①．数据计算层.
《大数据之路-阿里巴巴大数据实践》读书笔记
Jiashilin
06-07 5064
ps：这本书主讲阿里的大数据体系架构方案，从底层到高层阐述，目前对我来说此书的难度较大，不是很懂，大部分为对原书的引用归纳总结，我会给出相应的大牛的关于此书的读书笔记的传送门供参考。以下为大牛关于本书的读书笔记供参考：读书笔记传送门https://www.jianshu.com/p/69dbf35713ad此书下载传送门http://www.java1234.com/a/javabook/yun/...
【数仓】离线和实时数据开发-《大数据之路》读书笔记
每天更新大数据面经和技术
04-20 1682
  今天更新《大数据之路》第 4 章和第 5 章，离线数据开发以及实时技术。关注公众号回复 802 获取 pdf。   前面的文章讲述了日志文件和业务系统的数据如何采集到大数据平台中。原始数据只有被整合计算之后才能挖掘潜在信息，从而实现大数据的价值。 1.离线数据开发 1.1 统一计算平台   数据研发岗的工作大致可以概况为：了解需求→模型设计→ETL 开发→测试→发布上线→日常运维→任务下线。阿里采用的统一计算平台是自研的 MaxCompute，体系分为四部分： 客户端：提供 RESTful API，命
大数据之路读书笔记-06数据服务
数字人生
07-08 527
数据部门产出的海量数据，如何能方便高效地开放出去，是我们一直想要解决的难题。在没有数据服务的年代，数据开放的方式简单、粗暴，一般是直接将数据导出给对方。这种方式不仅低效，还带来了安全隐患等诸多问题。为此，我们在数据服务这个方向上不断探索和实践。最早的数据服务雏形诞生于 2010 年，至今已有7个年头。在这期间，随着我们对业务的理解不断加深，同时也得益于新技术的持续涌现，对数据服务架构也进行了多次升级改造。服务架构的每次升级，均在性能、稳定性、扩展性等方面有所提升，从而能更好地服务于用户。本章接下来的内容，将
大数据之路读书笔记-04离线数据开发
数字人生
07-07 994
从采集系统中收集了大量的原始数据后，数据只有被整合和计算，才能被用于洞察商业规律，挖掘潜在信息，从而实现大数据价值，达到赋能于商业和创造价值的目的。面对海量的数据和复杂的计算，阿里巴巴的数据计算层包括两大体系：数据存储及计算平台 （离线计算平MaxCompute 实时计算平台 StreamCompute 、数据整合及管理体系( OneData） 本章主要介绍 MaxCompute 和阿里巴巴内部基于 MaxCompute的大数据开发套件，并对在数据开发过程中经常遇到的问题和相关解决方案进行介绍。阿里数据研发
大数据之路读书笔记-03数据同步
数字人生
07-07 624
如第一章所述，我们将数据采集分为日志采集和数据库数据同步两部分。数据同步技术更通用的含义是不同系统间的数据流转，有多种不同的应用场景。主数据库与备份数据库之间的数据备份，以及主系统与子系统之间的数据更新，属于同类型不同集群数据库之间的数据同步。另外，还有不同地域、不同数据库类型之间的数据传输交换，比如分布式业务系统与数据仓库系统之间的数据同步。对于大数据系统来说，包含数据从业务系统同步进入数据仓库和数据从数据仓库同步进入数据服务或数据应用两个方面。本章侧重讲解数据从业务系统同步进入数据仓库这个环节，但其适用
《阿里大数据之路》研读笔记（2）维度表
weixin_51981189的博客
07-02 344
规范化和反规范化总结就是 规范化让总的单一维度变成多个维度 然后每个维度就是一张表这样 适合OLTP 可以参考三范式 这样是为了减少冗余 比如一个商品有多个类目（类目还有一些相关的字信息字段） ，属于多个行业（行业也带有相关的信息字段）这样可以直接把类目和行业各拆分成一张表 然后在商品表用两张维表的主键引用即可 这样能减少冗余 但是查询会比较缓慢 因为要join所以反规范化在一定条件下适合OLAP 把这些需要的字段都放在一个表中 冗余就冗余 因为存储成本相对不高。
大数据之路读书笔记-16数据应用
数字人生
07-19 1419
生意参谋诞生于2011年，最早是应用于阿里巴巴B2B市场的数据工具，2013年10月才正式进入淘系。当时阿里淘系的数据产品曾一度多达到38个，不同产品的统计方式不同，相同指标在不同产品中的数据也有所差异，这给商家带来不少的困扰。为了保证用户体验，从2014年起，依托阿里巴巴内部的OnData体系建设的、在数据一致性方面更具优势的生意参谋陆续整合量子恒道、数据魔方等其他数据产品，并在2015年年底升级为官方统一的商家数据产品平台。1.数据监控2.专题分析3.应用分析。...
大数据时代：洞见与警示——《大数据》读书笔记
"《大数据》读书笔记，作者徐子沛，强调大数据的四个基本特征——大量化、多样化、快速化和大价值，并讨论了数据在现代社会中的重要性，特别是其在决策、企业发展和社会公正中的作用。书中通过实例展示了数据如何被...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值