Spark 可以说是在大数据领域应用比较广泛的一个技术架构了,而 SparkSQL 更是为Spark 的发展提供强有力的支撑,我们可以通过sql语句就可以完成对一些大数据量的计算和分析,而无需关注底层的处理逻辑,这些都得益于 Spark 强有力的引擎来对 SQL 做解析和优化,降低了学习的门槛。本场 Chat 将对 Spark SQL 的主要特性进行讲解,并结合实战项目详细介绍其在生产环境中如何使用。
本场 Chat 主要内容:
- Spark SQL 概述及架构讲解,对 Spark SQL 有一个初步的认识和了解。
- DataFrame&Dataset,着重讲解 DataFrame&RDD&Dataset 之间的互操作。
- External Data Source,讲解 Spark SQL操作 Parquet/Hive/MySQL/JSON 各类型数据。
- Spark SQL 实战,结合 Admaster 日志数据详细介绍 Spark SQL 在生产环境中如何使用。
阅读全文: http://gitbook.cn/gitchat/activity/5b6041a3baffd578157e4ec8
您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ,阅读更多 GitChat 专享技术内容哦。