2018年又传喜报!热烈祝贺王家林大师大数据经典著作《Spark SQL大数据实例开发教程》 畅销书籍 出版上市!

原创 2018年04月15日 08:13:29

2018年又传喜报!热烈祝贺王家林大师大数据经典著作《Spark SQL大数据实例开发教程》 畅销书籍 出版上市!


作者: 王家林 段智华 
条码书号:9787111591979
出版日期:2018/3/1
出 版 社:机械工业出版社
丛书 名: 大数据科学丛书

定价:¥59.00

        Spark SQL是Spark生态环境中核心和基础的组件,是掌握Spark的关键所在。本书完全从企业级开发的角度出发,结合多个企业级应用案例,深入剖析Spark SQL。全书共分为8章,包括:认识Spark SQL、DataFrame原理与常用操作、Spark SQL操作多种数据源、Parquet列式存储、Spark SQL内置函数与窗口函数、Spark SQL UDF与UDAF、Thrift Server、Spark SQL综合应用案例。

        本书可以使读者对Spark SQL有深入彻底的理解,本书适合于Spark学习爱好者,是学习Spark SQL的入门和提高教材,也是Spark开发工程师开发过程中查阅Spark SQL的案头手册。

前言


1章认识Spark SQL


1.1Spark SQL概述


1.1.1Spark SQL与DataFrame


1.1.2DataFrame与RDD的差异


1.1.3Spark SQL的发展历程


1.2从零起步掌握Hive


1.2.1Hive的本质是什么


1.2.2Hive安装和配置


1.2.3使用Hive分析搜索数据


1.3Spark SQL on Hive安装与配置


1.3.1安装Spark SQL


1.3.2安装MySQL


1.3.3启动Hive Metastore


1.4Spark SQL初试


1.4.1通过spark-shell来使用Spark SQL


1.4.2Spark SQL的命令终端


1.4.3Spark的Web UI


1.5本章小结


2章DataFrame原理与常用操作


2.1DataFrame编程模型


2.2DataFrame基本操作实战


2.2.1数据准备


2.2.2启动交互式界面


2.2.3数据处理与分析


2.3通过RDD来构建DataFrame


2.4缓存表(列式存储)


2.5DataFrame API应用示例


2.6本章小结


3章Spark SQL 操作多种数据源


3.1通用的加载/保存功能


3.1.1Spark SQL加载数据


3.1.2Spark SQL保存数据


3.1.3综合案例——电商商品排名


3.2Spark SQL操作Hive示例


3.3Spark SQL操作JSON数据集示例


3.4Spark SQL操作HBase示例


3.5Spark SQL操作MySQL示例


3.5.1安装并启动MySQL


3.5.2准备数据表


3.5.3操作MySQL表


3.6Spark SQL操作MongoDB示例


3.6.1安装配置MongoDB


3.6.2启动MongoDB


3.6.3准备数据


3.6.4Spark SQL操作MongoDB


3.7本章小结


4章Parquet列式存储


4.1Parquet概述


4.1.1Parquet的基本概念


4.1.2Parquet数据列式存储格式应用举例


4.2Parquet的Block配置及数据分片


4.2.1Parquet的Block的配置


4.2.2Parquet 内部的数据分片


4.3Parquet序列化


4.3.1Spark实施序列化的目的


4.3.2Parquet两种序列化方式


4.4本章小结


5章Spark SQL内置函数与窗口函数


5.1Spark SQL内置函数


5.1.1Spark SQL内置函数概述


5.1.2Spark SQL内置函数应用实例


5.2Spark SQL窗口函数


5.2.1Spark SQL窗口函数概述


5.2.2Spark SQL窗口函数分数查询统计案例


5.2.3Spark SQL窗口函数NBA常规赛数据统计案例


5.3本章小结


6章Spark SQL UDF与UDAF


6.1UDF概述


6.2UDF示例


6.2.1Hobby_count函数


6.2.2Combine函数


6.2.3Str2Int函数


6.2.4Wsternstate函数


6.2.5ManyCustomers函数


6.2.6StateRegion函数


6.2.7DiscountRatio函数


6.2.8MakeStruct函数


6.2.9MyDateFilter函数


6.2.10MakeDT函数


6.3UDAF概述


6.4UDAF示例


6.4.1ScalaAggregateFunction函数


6.4.2GeometricMean函数


6.4.3CustomMean函数


6.4.4BelowThreshold函数


6.4.5YearCompare函数


6.4.6WordCount函数


6.5本章小结


7章Thrift Server


7.1Thrift概述


7.1.1Thrift的基本概念


7.1.2Thrift的工作机制


7.1.3Thrift的运行机制


7.1.4一个简单的Thrift 实例


7.2Thrift Server的启动过程


7.2.1Thrift Sever启动详解


7.2.2HiveThriftServer2类的解析


7.3Beeline操作


7.3.1Beeline连接方式


7.3.2在Beeline中进行SQL查询操作


7.3.3通过Web控制台查看用户进行的操作


7.4Thrift   Server应用示例


7.4.1示例源代码


7.4.2关键代码行解析


7.4.3测试运行


7.4.4运行结果解析


7.4.5Spark Web控制台查看运行日志


7.5本章小结


8章Spark SQL综合应用案例


8.1综合案例实战——电商网站日志多维度数据分析


8.1.1数据准备


8.1.2数据说明


8.1.3数据创建


8.1.4数据导入


8.1.5数据测试和处理


8.2综合案例实战——电商网站搜索排名统计


8.2.1案例概述



版权声明:王家林大咖2018年新书《SPARK大数据商业实战三部曲》清华大学出版,清华大学出版社官方旗舰店(天猫)https://qhdx.tmall.com/?spm=a220o.1000855.1997427721.d4918089.4b2a2e5dT6bUsM https://blog.csdn.net/duan_zhihua/article/details/79946373

王家林Spark笔记

王家林Spark笔记 第一讲:Scala光速入门 本期内容 1、Scala的重大价值 2、Scala基础语法入门实战 3、Scala函数入门实战 4、Scala中Array、Map、Tuple实战 5...
  • china_demon
  • china_demon
  • 2016-08-25 02:26:07
  • 1884

2018年新春报喜!热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》 畅销书籍 清华大学出版社发行上市!

2018年新春报喜!热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍 清华大学出版社发行上市!本书基于Spark 2.2.0最新版本(2017年7月11日发布),以Spa...
  • duan_zhihua
  • duan_zhihua
  • 2018-02-13 19:47:15
  • 1063

大数据最火爆技术spark之王家林2016最新高清视频教程

视频讲师:王家林 中国Spark第一人 DT大数据梦工厂     00.蘑菇云前传Scala     01.从0基础到调通第一个wordcount程序 (课程1-10讲)     02.Spar...
  • qq_38472973
  • qq_38472973
  • 2017-05-25 09:38:24
  • 148

Spark大数据实例开发教 高清完整.pdf版下载

  • 2017年10月05日 11:39
  • 144.92MB
  • 下载

王家林大数据Spark超经典视频

压缩过的大数据Spark蘑菇云行动前置课程视频百度云分享链接  链接:http://pan.baidu.com/s/1cFqjQu  SCALA专辑  Scala深入浅出经典视频  链接:http...
  • AngelicaA
  • AngelicaA
  • 2017-10-14 22:54:40
  • 1187

spark相关书籍

1、大数据技术丛书:Spark快速数据处理,其实就是《Fast Data Processing with Spark》英文书的翻译版本,一共就114页,讲的非常浅显,还不如直接看英文的。样本下载:ht...
  • renyp8799
  • renyp8799
  • 2016-02-25 10:06:48
  • 597

2017年新春报喜!热烈祝贺王家林老师大数据经典著作《SPARK内核机制解析及性能调优》 畅销书籍 出版上市!

2017年新春报喜!热烈祝贺王家林老师大数据经典著作《SPARK内核机制解析及性能调优》 畅销书籍 出版上市!                     本书致力于Spark内核的深入解析,带领读者...
  • duan_zhihua
  • duan_zhihua
  • 2017-01-22 20:04:43
  • 1451

王家林经典云计算hadoop第1至11讲的课程资料

  • 2013年06月22日 23:03
  • 27.8MB
  • 下载

大数据Spark企业级实战 PDF 下载 和目录

大数据,Spark,企业级实战,pdf完整版,目录
  • wyx100
  • wyx100
  • 2016-08-02 22:25:04
  • 3525

徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari

  • 2018年01月26日 22:39
  • 49B
  • 下载
收藏助手
不良信息举报
您举报文章:2018年又传喜报!热烈祝贺王家林大师大数据经典著作《Spark SQL大数据实例开发教程》 畅销书籍 出版上市!
举报原因:
原因补充:

(最多只允许输入30个字)