本文介绍了Spark-1.4.0中的DataFrame，作为分布式数据集，DataFrame提供了元信息，支持大规模数据处理，与多种数据格式和存储系统的交互。通过Spark SQL Catalyst优化器实现高效优化。在实战部分，展示了如何从HDFS创建DataFrame，注册为表并进行SparkSQL操作。后续文章将进一步探讨DataFrame的原理和API使用。
主要内容
本教程中所有例子跑在Spark-1.4.0集群上
- DataFrames简介
- DataFrame基本操作实战
DataFrames简介
DataFrames在Spark-1.3.0中引入，主要解决使用Spark RDD API使用的门槛，使熟悉R语言等的数据分析师能够快速上手Spark下的数据分析工作，极大地扩大了Spark使用者的数量，由于DataFrames脱胎自SchemaRDD，因此它天然适用于分布式大数据场景。相信在不久的将来，Spark将是大数据分析的终极归宿。
在Spark中，DataFrame是一种以RDD为基础的分布式数据集，与传统RDBMS的表结构类似。与一般的RDD不同的是，DataFrame带有schema元信息，即DataFrame所表示的表数据集的每一列都带有名称和类型，它对于数据的内部结构具有很强的描述能力。因此Spark SQL可以对藏于DataFrame背后的数据源以及作用于DataFrame之上的变换进行了针对性的优化，最终达到大幅提升运行时效率。
DataFrames具有如下特点：
- Ability to scale from kilobytes of
最低0.47元/天 解锁文章
196
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
