干货 | 36个大数据文档PDF开放下载

转载自:http://training.evget.com/post/322.html?ref=myread

1.大数据背后的价值:饿了么数据仓库治理及数据应用——徐梦云

大数据

下载大数据背后的价值:饿了么数据仓库治理及数据应用——徐梦云.pdf

2.大数据背后的价值:腾讯游戏大数据应用——邓大付

大数据

下载:大数据背后的价值:腾讯游戏大数据应用——邓大付.pdf

3.Seagate-WP-DataAge2025-March-2017 

大数据

下载:Seagate-WP-DataAge2025-March-2017 .pdf

4.Bring Consensus to Data Replication

大数据

下载:Bring Consensus to Data Replication.pdf

5.大数据之后的信息管理-Gartner-田宇

大数据

下载:大数据之后的信息管理-Gartner-田宇.pdf

6.大数据智能的研究与应用进展

大数据

下载:大数据智能的研究与应用进展.pdf

7.大数据技术丛书《数据挖掘:实用案例分析》

大数据

下载:大数据技术丛书《数据挖掘:实用案例分析》.pdf

8.AWS 数据中心与 VPC 揭秘

大数据

下载:AWS 数据中心与 VPC 揭秘.pdf

9.TensorFlow on Yarn:深度学习遇上大数据

大数据

下载:TensorFlow on Yarn:深度学习遇上大数据.pdf

10.Oracle 和 MySQL 性能优化感悟大数据

下载:Oracle 和 MySQL 性能优化感悟.pdf

11.如何用 MySQL 构建全方位高可用应用

大数据

下载:如何用 MySQL 构建全方位高可用应用.pdf

12.星际争霸与人工智能

大数据

下载:星际争霸与人工智能.pdf

13.数据驱动安全——滴滴安全基础数据建设

大数据

下载:数据驱动安全——滴滴安全基础数据建设.pdf

14.银行客户画像应用

大数据

下载:银行客户画像应用.pdf

15.京东应用运维智能化演进实战

大数据

下载:京东应用运维智能化演进实战.pdf

16.经典算法与人工智能在外卖物流调度中的应用

大数据

下载:经典算法与人工智能在外卖物流调度中的应用.pdf

17.微信红包系统可用性设计实践

大数据

下载:微信红包系统可用性设计实践.pdf

18.深度学习在电商搜索和聊天机器人中的应用探索

大数据

下载:深度学习在电商搜索和聊天机器人中的应用探索.pdf

19.菜鸟末端业务技术架构治理实践

大数据

下载:菜鸟末端业务技术架构治理实践.pdf

20.人人车供应链系统技术架构演进

大数据

下载:人人车供应链系统技术架构演进.pdf

21.分布式异地多活架构实践之路

大数据

下载:分布式异地多活架构实践之路.pdf

22.搜狗商业云平台实践与思考

大数据

下载:搜狗商业云平台实践与思考.pdf

23.知乎基于 Kubernetes 的 Kafka 平台探索和实践

大数据

下载:知乎基于 Kubernetes 的 Kafka 平台探索和实践.pdf

24.新时代下工程师的发展和选择

大数据

下载:新时代下工程师的发展和选择.pdf

25.构建基于富媒体大数据的弹性深度学习计算平台

大数据

下载:构建基于富媒体大数据的弹性深度学习计算平台.pdf

26.区块链在当前实际金融业务应用中的关键技术实施和解决方案

大数据

下载:区块链在当前实际金融业务应用中的关键技术实施和解决方案.pdf

27.美团点评旅游推荐系统的演进

大数据

下载:美团点评旅游推荐系统的演进.pdf

28.中国银联的开源应用之路

大数据

下载:中国银联的开源应用之路.pdf

29.阿里毫秒级实时风控引擎实践

大数据

下载:阿里毫秒级实时风控引擎实践.pdf

30.用经济学原理打造团队领导力与软技能

大数据

下载:用经济学原理打造团队领导力与软技能.pdf

31.iOS App 内存专项实践:封闭系统下的大自由

大数据

下载:iOS App 内存专项实践:封闭系统下的大自由.pdf

32.海尔实时计算平台技术选型与实践

大数据

下载:海尔实时计算平台技术选型与实践.pdf

33.从纯技术到技术管理,那些跌宕起伏的转型经历

大数据

下载:从纯技术到技术管理,那些跌宕起伏的转型经历.pdf

34.付钱拉金融云系统架构演进和最佳实践

大数据

下载:付钱拉金融云系统架构演进和最佳实践.pdf

35.网易 “无埋点”数据的采集实践之路

大数据

下载:网易 “无埋点”数据的采集实践之路.pdf

36.产品经理的硬技能——业务建模

大数据

下载:产品经理的硬技能——业务建模.pdf


  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
阿⾥巴巴⼤数据之路 阿⾥巴巴⼤数据之路——数据技术篇 数据技术篇 ⼀、整体架构 ⼀、整体架构      从下⾄上依次分为数据采集层、数据计算层、数据服务层、数据应⽤层    数据采集层:以DataX为代表的数据同步⼯具和同步中⼼    数据计算层:以MaxComputer为代表的离线数据存储和计算平台    数据服务层:以RDS为代表的数据库服务(接⼝或者视图形式的数据服务)    数据应⽤层:包含流量分析平台等数据应⽤⼯具 ⼆、数据采集(离线数据同步) ⼆、数据采集(离线数据同步)   数据采集主要分为⽇志采集和数据库采集。⽇志采集暂略(参考书籍原⽂)。我们主要运⽤的是数据库采集(数据库同步)。   通常情况下,我们需要规定原业务系统表增加两个字段:创建时间、更新时间(或者⾄少⼀个字段:更新时间)   数据同步主要可以分为三⼤类:直连同步、数据⽂件同步、数据库⽇志解析同步   1.直连同步     通过规范好的接⼝和动态连接库的⽅式直接连接业务库,例如通过ODBC/JDBC进⾏直连     当然直接连接业务库的话会对业务库产⽣较⼤压⼒,如果有主备策略可以从备库进⾏抽取,此⽅式不适合直接从业务库到数仓的情景   2.数据⽂件同步     从源系统⽣成数据⽂本⽂件,利⽤FTP等传输⽅式传输⾄⽬标系统,完成数据的同步     为了防⽌丢包等情况,⼀般会附加⼀个校验⽂件 ,校验⽂件包含数据量、⽂件⼤⼩等信息     为了安全起见还可以加密压缩传输,到⽬标库再解压解密,提⾼安全性   3.数据库⽇志同步     主流数据库都⽀持⽇志⽂件进⾏数据恢复(⽇志信息丰富,格式稳定),例如Oracle的归档⽇志   (数据库相关⽇志介绍,参考:)    4.阿⾥数据仓库同步⽅式     1)批量数据同步     要实现各种各样数据源与数仓的数据同步,需要实现数据的统⼀,统⼀的⽅式是将所有数据类型都转化为中间状态,也就是字符串类型。以此来实现数据格式的统⼀。     产品——阿⾥DataX:多⽅向⾼⾃由度异构数据交换服务产品,产品解决的主要问题:实现跨平台的、跨数据库、不同系统之间的数据同步及交互。     产品简介:     开源地址:     更多的介绍将会通过新开随笔进⾏介绍!(当然还有其他主流的数据同步⼯具例如kettle等!)     2)实时数据同步     实时数据同步强调的是实时性,基本原理是通过数据库的⽇志(MySQL的bin-log,Oracle的归档⽇志等)实现数据的增量同步传输。     产品——阿⾥TimeTunnel(简称TT)。TT产品本质是⼀个⽣产者、消费者模型的消息中间件     3)常见问题       1.增量数据与全量数据的合并         主要的场景是数据同步中周期全量同步,对应的解决⽅案是每次只同步变更的数据,然后和上⼀周期合并,形成最新的全量数据(选择此⽅案的原因是绝⼤多 数⼤数据平台不⽀持update操作)         具体的⽅案主要有union的联合操作(可以通过⽣成增量中间表detal)与阿⾥主推的全外连接full outer join+全量覆盖insert overwrite的形式。实例参考如下: SQL的Join语法有很多, inner join(等值连接) 只返回两个表中联结字段相等的⾏, left join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录, right join(右联接) 返回包括右表中的所有记录和左表中联结字段相等的记录, 假设我们有两张表。Table A 是左边的表。Table B 是右边的表。其各有四条记录,其中有两条记录name是相同的,如下所⽰: A表 id name 1 Pirate 2 Monkey 3 Ninja 4 Spaghetti B表 id name 1 Rutabaga 2 Pirate 3 Darth Vade 4 Ninja 让我们看看不同JOIN的不同。 FULL [OUTER] JOIN (1) SELECT * FROM TableA FULL OUTER JOIN TableB ON TableA.name = TableB.name TableA.name = TableB.name 的情况,A和B的交集有两条数据,那么 FULL OUTER JOIN的结果集, 应该是2+2+2=6条,即上⾯的交集,再加剩下的四条数据,没有匹配,以null补全。 结果集 (TableA.) (TableB.) id name id name 1 Pirate 2 Pirate 2 Monkey null null 3 Ninja 4 Ninja 4 Spaghetti null null null null 1 Rutabag

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值