![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 75
DoveYoung8
这个作者很懒,什么都没留下…
展开
-
Spark-Scala常用函数
一、读取 1、textFile() 读取外部数据源 2、 map() 遍历每条数据处理 3、mapvalues(_+10) 传入一个函数,类似于map方法,不过这里只是对元组中的value进行计算 4、keys values val rdd1 = sc.parallelize(List("dog", "tiger", "lion", "cat", "panther"...原创 2018-05-18 10:46:46 · 2720 阅读 · 0 评论 -
Spark函数
1、RDD提供了两种类型的操作:transformation和action所有的transformation都是采用的懒策略,如果只是将transformation提交是不会执行计算的,计算只有在action被提交的时候才被触发。1)transformation操作:得到一个新的RDD,比如从数据源生成一个新的RDD,从RDD生成一个新的RDDmap(func):对调用map的RDD数据集中的每个...转载 2018-05-18 11:04:32 · 1073 阅读 · 0 评论 -
Spark[1]安装配置
1. 下载软件包*Master#cd /usr/local //进入/usr/local 目录wget http://mirrors.shu.edu.cn/apache/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgztar zxvf spark-2.3.0-bin-hadoop2.7.tgzwget https://downloads.lightb...原创 2018-04-11 15:08:23 · 203 阅读 · 0 评论