RDD动作算子first与take与top详解

• first() 算子
  • 格式: first()
  • 说明: 获取第一个元素

rdd = sc.parallelize([1,2,3,4,5,6,7,8,9,10])

rdd.first()

结果: 1

• take() 算子
  • 格式: take(N)
  • 说明: 获取前N个元素, 类似于 limit操作

rdd = sc.parallelize([1,2,3,4,5,6,7,8,9,10])

rdd.take(5)

结果: [1,2,3,4,5]

• top算子:
  • 格式: top(N, [fn])
  • 说明: 对数据集进行倒序排序操作. 如果是kv类型, 默认是针对key进行排序 获取前N个元素
  • fn: 可以自定义排序, 用于指定根据谁来排序

rdd = sc.parallelize([1,2,9,10,3,4,8,5,6,7])

rdd.top(3)
结果:
[10, 9, 8]

rdd = sc.parallelize([('c05','张三'),('c02','李四'),('c07','王五'),('c01','赵六'),('c03','田七'),('c08','周八'),('c04','李九')])

rdd.top(3)
结果: 
[('c08', '周八'), ('c07', '王五'), ('c05', '张三')]

rdd = sc.parallelize([('c05',5),('c02',9),('c07',12),('c01',11),('c03',17),('c08',16),('c04',13)])

根据value进行排序, 获取前三个
rdd.top(3,lambda kv: kv[1])

结果:
[('c03', 17), ('c08', 16), ('c04', 13)]