创建intRDD并转化为List输入
创建StringRDD
通过给map函数传入匿名函数操作RDD
filter数字运算:过滤
数值运算
字符运算
distinct运算:除去重复元素
randdomSplit运算:将整个集合元素以随机数的方式按照比列分为多个RDD
groupBy运算:可以按照传入的匿名函数规则将数据分为多个List
多个RDD转换运算
创建多个RDD:
union并集,intersection交集,subtract差集,cartesian笛卡儿积运算:
基本动作运算:
(1)读取元素
intRDD.first() ------------取出第一项数据
intRDD.take(2) ----------取出前二项数据
intRDD.takeOrdered(3) ----------从小到大排序,取出前3项
(2)统计功能
intRDD1.stats()----------统计
intRDD1.min()--------最小
intRDD1.stdev()--------标准差
intRDD1.count()--------计数
intRDD1.sum()--------计和
intRDD1.mean()--------平均