![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
加油Nothing
这个作者很懒,什么都没留下…
展开
-
将RDD转换成DataFrame
InteroperatInteroperating with RDDsSpark SQL supports two different methods for converting existing RDDs into Datasets. The firstmethod uses reflection to infer the schema of an RDD that contains原创 2017-03-21 16:45:55 · 428 阅读 · 0 评论 -
Spark术语理解
为了理解Spark中一些术语,仔细阅读了官方文档以及查阅了相关资料,现记录如下:1.Application: 在spark上构建的应用程序,由driver和executors构成;2.work node:工作节点,在集群中能够运行app的任何节点。3.driver:运行main函数并创建SparkContext的进程,在Client模式中,在集群外开启driver;cluster中原创 2017-06-07 09:30:31 · 356 阅读 · 0 评论