3.RDD的创建

原创 2016年06月01日 08:46:59
第一:RDD实战
第二:RDD的transformation和Action
-------------------------------------------
RDD.scala(reduce(),map())
sparkContext.scala(runJob())


RDD的操作类型3种:transformation(获得算子),action(执行操作),controller(控制算子)


lazy级别,编译器可以有时间优化
collect():收集结果到driver,变成数组,数组中存放的是Tuple会触发一个runJob
foreach():循环遍历每个元素,取出来当做新函数的参数
reduceByKey(_+_,1):第二个参数代表并行度,设置为1后,产生的结果为一个文件
shuffle和并行度没有任何关系
设置多少并行度就有多少partition,task代表了partition
partition数量的改变,是会影响了网络的开销

UCOSII创建的创建任务

INT8U OSTaskCreate (void (*task)(void *pd), void *pdata, OS_STK *ptos, INT8U prio)在UCOSII中负责创建任务 第一...
  • u012967763
  • u012967763
  • 2017年06月22日 20:26
  • 167

java 创建文件-创建目录-创建临时文件

[java] view plain copy  print? import java.io.File;   import java.io.IOException;   ...
  • defineshan
  • defineshan
  • 2016年09月25日 23:40
  • 148

创建主键 创建外键 创建约束

笔记本 创建表(包括创建主键,外键,非空列,唯一) **************** 创建主键(三种方法) **************** 创建学生表: 第一种: create table...
  • u012467492
  • u012467492
  • 2015年06月24日 11:46
  • 400

C#创建如何创建DataTable

创建DataTable实例     DataTable StockTable2 = new DataTable(); 增加DataTable 列          DataColumn dc1 ...
  • a136511479
  • a136511479
  • 2016年06月14日 17:46
  • 157

db2 创建实例,创建数据库,创建表

创建实例
  • fabbychips
  • fabbychips
  • 2014年10月30日 19:29
  • 11324

wordpress 自己创建插件怎么创建

我是个wordpress菜鸟,刚学习什么都不会,插件都不会自己写,老手就不要笑话了,对新手应该有点用吧 首先你要在htdocs\wp-content\plugins 写一个文件夹谢你插件的名...
  • Q1059081877Q
  • Q1059081877Q
  • 2015年06月02日 21:57
  • 630

如何创建索引、什么时候该创建、什么时候不应该创建

适当的使用索引可以提高数据检索速度,可以给经常需要进行查询的字段创建索引  Oracle的索引分为5种:唯一索引,组合索引,反向键索引,位图索引,基于函数的索引  创建索引的标准语法:  ...
  • nannancctv1
  • nannancctv1
  • 2017年01月20日 10:26
  • 107

创建线程的三种方式

一、继承Thread类+重写run()方法 启动:创建子类对象+对象.start() 二、实现Runnable接口+重写run方法 启动:使用静态代理 1)、创建真实角色 2)、创建代理角色...
  • scgaliguodong123_
  • scgaliguodong123_
  • 2015年05月27日 17:13
  • 5946

创建线程的三种方法

第一种方法:继承Thread类,重写run()方法,run()方法代表线程要执行的任务。 第二种方法:实现Runnable接口,重写run()方法,run()方法代表线程要执行的任务。 第三种方法:实...
  • baidu_21578557
  • baidu_21578557
  • 2016年04月16日 21:34
  • 5233

关于枚举的创建和使用

枚举简单的说也是一种数据类型,只不过是这种数据类型只包含自定义的特定数据,它是一组有共同特性的数据的集合。举个例子,颜色也可以定义成枚举类型,它可以包含你定义的任何颜色,当需要的时候,只需要通过枚举调...
  • aeiou20018
  • aeiou20018
  • 2016年07月10日 16:31
  • 3186
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:3.RDD的创建
举报原因:
原因补充:

(最多只允许输入30个字)