自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

DoveYoung欢迎大家指正!

边学习边记录!人人分享,开源天下。。。。

  • 博客(2)
  • 收藏
  • 关注

转载 Spark函数

1、RDD提供了两种类型的操作:transformation和action所有的transformation都是采用的懒策略,如果只是将transformation提交是不会执行计算的,计算只有在action被提交的时候才被触发。1)transformation操作:得到一个新的RDD,比如从数据源生成一个新的RDD,从RDD生成一个新的RDDmap(func):对调用map的RDD数据集中的每个...

2018-05-18 11:04:32 1186

原创 Spark-Scala常用函数

一、读取    1、textFile()  读取外部数据源    2、 map() 遍历每条数据处理    3、mapvalues(_+10) 传入一个函数,类似于map方法,不过这里只是对元组中的value进行计算    4、keys values    val rdd1 = sc.parallelize(List("dog", "tiger", "lion", "cat", "panther"...

2018-05-18 10:46:46 2744

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除