大数据开发必读书目(持续更新)

在这里插入图片描述

1.Hadoop

  1. Hadoop大数据开发案例教程与项目实战.pdf
  2. Hadoop技术内幕 深入解析YARN架构设计与实现原理.pdf
  3. Hadoop技术内幕 深入理解MapReduce架构设计与实现原理.pdf
  4. Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理.pdf
  5. Hadoop权威指南.大数据的存储与分析.第4版.修订版&升级版.pdf

2.Zookeeper

  1. 从Paxos到Zookeeper 分布式一致性原理与实践.pdf
  2. ZooKeeper分布式过程协同技术详解.pdf

3.Hive

  1. Hive编程指南.pdf

4.Kafka

  1. 《Apache Kafka源码剖析》.pdf

5.Flume

  1. Flume构建高可用、可扩展的海量日志采集系统.pdf

6.Scala

  1. Scala函数式编.pdf
  2. 快学Scala 第2版有书签.pdf
  3. 《Scala编程完整中文版》.pdf

7.Spark

  1. Spark SQL内核剖析.pdf
  2. 深度实践Spark机器学习.pdf
  3. Spark大数据处理_原理算法与实例.pdf
  4. 《Spark快速大数据分析》高清中文版.pdf
  5. Apache Spark源码剖析.pdf
  6. 《Spark高级数据分析》高清中文版.pdf
  7. Spark技术内幕 深入解析Spark内核架构设计与实现原理.pdf

8.Hbase

  1. HBase权威指南.pdf

9.其他

  1. 大规模分布式存储系统:原理解析与架构实战 (大数据技术丛书)-杨传辉.pdf
  2. 数据仓库工具箱 维度建模权威指南(第3版).pdf
  3. 《数据密集型应用系统设计》_赵军平.pdf
  4. 《大数据架构和算法实现之路:电商系统的技术实战》.pdf
  5. 大数据技术体系详解:原理、架构与实践_董西成(著) 机械工业出版社.pdf
  6. 《数据挖掘与数据化运营实战 思路、方法、技巧与应用》.pdf
  7. 大数据架构商业之路:从业务需求到技术方案.pdf

未完待续。。。。

获取以上书籍,关注公众号,回复“大数据”即可在这里插入图片描述

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
本文主要讨论 Apache Spark 的设计与实现,重点关注其设计思想、运行原理、实现架构及性能调优,附带讨论与 Hadoop MapReduce 在设计与实现上的区别。不喜欢将该文档称之为“源码分析”,因为本文的主要目的不是去解读实现代码,而是尽量有逻辑地,从设计与实现原理的角度,来理解 job 从产生到执行完成的整个过程,进而去理解整个系统。 讨论系统的设计与实现有很多方法,本文选择 问题驱动 的方式,一开始引入问题,然后分问题逐步深入。从一个典型的 job 例子入手,逐渐讨论 job 生成及执行过程中所需要的系统功能支持,然后有选择地深入讨论一些功能模块的设计原理与实现方式。也许这样的方式比一开始就分模块讨论更有主线。 本文档面向的是希望对 Spark 设计与实现机制,以及大数据分布式处理框架深入了解的 Geeks。 因为 Spark 社区很活跃,更新速度很快,本文档也会尽量保持同步,文档号的命名与 Spark 版本一致,只是多了一位,最后一位表示文档的版本号。 由于技术水平、实验条件、经验等限制,当前只讨论 Spark core standalone 版本中的核心功能,而不是全部功能。诚邀各位小伙伴们加入进来,丰富和完善文档。 好久没有写这么完整的文档了,上次写还是三年前在学 Ng 的 ML 课程的时候,当年好有激情啊。这次的撰写花了 20+ days,从暑假写到现在,大部分时间花在 debug、画图和琢磨怎么写上,希望文档能对大家和自己都有所帮助。 内容 本文档首先讨论 job 如何生成,然后讨论怎么执行,最后讨论系统相关的功能特性。具体内容如下: Overview 总体介绍 Job logical plan 介绍 job 的逻辑执行图(数据依赖图) Job physical plan 介绍 job 的物理执行图 Shuffle details 介绍 shuffle 过程 Architecture 介绍系统模块如何协调完成整个 job 的执行 Cache and Checkpoint 介绍 cache 和 checkpoint 功能 Broadcast 介绍 broadcast 功能 Job Scheduling

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值