![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
weixin_36051743
这个作者很懒,什么都没留下…
展开
-
Spark-RDD Programming Guide官网二
Overview Spark中的第二个抽象是可用于并行操作的共享变量。默认情况下,当Spark作为不同节点上的一组任务并行运行函数时,它将函数中使用的每个变量的副本发送给每个任务。有时候,需要在任务之间或任务和驱动程序之间共享变量。Spark支持两种类型的共享变量:广播变量(可以用于在所有节点的内存中缓存值)和累加器(仅“添加”到其中的变量,如计数器和和)。 Linking with Spark ...原创 2018-11-09 13:28:15 · 170 阅读 · 0 评论 -
Spark-Programming Guides官网一
Quick Start Spark2.0之前是RDD(弹性分布式数据集)。Spark2.0后RDD被Dataset取代 Interactive Analysis with the Spark Shell 读文件得到数据集 textFile=spaek.read.text(“README.md”) 注意从本地读使用绝对路径 file:/wdd/app/spark/README.md 从hdfs...原创 2018-11-07 20:08:36 · 105 阅读 · 0 评论