![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
安静点吧壮汉
这个作者很懒,什么都没留下…
展开
-
spark连接mysql,hbase
spark内存计算框架 RDD的创建方式 1、通过已经存在的scala集合去构建 val rdd1=sc.parallelize(List(1,2,3,4,5)) val rdd2=sc.parallelize(Array("hadoop","hive","spark")) val rdd3=sc.makeRDD(List(1,2,3,4)) 2、加载外部的数据源去构建 val rdd1=sc.textFile("/words.txt") 3、从已...原创 2021-04-10 18:08:49 · 304 阅读 · 1 评论 -
RDD常用的算子操作
transformation算子 转换 含义 map(func) 返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成 filter(func) 返回一个新的RDD,该RDD由经过func函数计算后返回值为true的输入元素组成 flatMap(func) 类似于map,但是每一个输入元素可以被映射为0或多个输出元素(所以func应该返回一个序列,而不是单...原创 2020-01-02 15:37:47 · 475 阅读 · 0 评论