![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
yuangeqing
这个作者很懒,什么都没留下…
展开
-
spark sql
一:概要 spark sql是一个用于结构化数据处理的spark模块。不像是spark RDD API,Spark SQL提供的接口提供了数据的结构和计算相关的信息。内部来说,spark sql使用这些额外的信息来执行优化工作。和spark sql交互有以下方式:SQL语句,dataframe的API,datasets的API。当你运算一个结果的时候,使用的是相同的计算引擎,和翻译 2016-11-07 00:50:06 · 1896 阅读 · 0 评论 -
spark programming guide
一: 概要 从高级来看,每一个spark应用都包含一个驱动程序,执行用户的main方法,在cluster上执行不同的并行计算。spark提供的主要抽象是RDD,这是一个可以在cluster的各个节点上并行计算的分区元素的集合。创造RDD的方法是:使用一个hadoop文件系统中的文件,或者其他的hadoop支持的文件系统,或者是驱动中存在的scala的集合,然后也可以通过tranforma翻译 2016-10-25 20:43:51 · 366 阅读 · 0 评论