前言:
本书以Hadoop和Spark为核心,阐述了基于这两种通用大数据处理平台的应用开发技术。
在Hadoop生态圈中,从HDFS初识分布式存储系统;以MapReduce详解f分布式计算的步骤;利用HBase分析适合非结构化数据存储的分布式数据库;利用Hive分析将SQL查询转化为分布式计算的过程;并结合项目案例“音乐排行榜”练习Hadoop核心技能点的运用;同时,介绍了几种离线处理系统中常用的辅助工具。
在Spark生态圈中,从Scala开始介绍多范式编程;并从Spark Core、Spark SQL、Spark
Streaming三个方面来分析对比Hadoop生态圈中的分布式计算、Hive、 流式计算的可替换方案和它们各自的优势。
设计思路
本书共12章,内容包括Hadoop初体验、Hadoop分布式文件系统、Hadoop分布式计算框架、Hadoop 新特性、