5.fink-DataSet(五)
1.source
基于文件
readTextFile(path)
基于集合
fromCollection(Collection)
基于socket
自定义
2.transformations
map:输入一个元素,然后返回一个元素,中间可以做一些清洗转换等操作
flatMap:输入一个元素,可以返回零个,一个或者多个元素
mapPartition:类似map,一次处理一个分区的数据【如果在进行map处理的时候需要获取第三方资源链接,建议使用MapPartition】,demo如下
filter:过滤函数,对传入的数据进行判断,符合条件的数据会被留下
reduce:对数据进行聚合操作,结合当前元素和上一次reduce返回的值进行聚合操作,然后返回一个新的值
aggregate:sum、max、min等
distinct:返回一个数据集中去重之后的元素,data.distinct()
join:内连接
outerJoin:外链接
cross:获取两个数据集的笛卡尔积
union:返回两个数据集的总和,数据类型需要一致
first(n):获取集合中的前N个元素
sortPartition:在本地对数据集的所有分区进行排序,通过sortPartition()的链接调用来完成对多个字段的排序
注意:因为是在本地对数据集所有分区排序,如果数据量较大,可能会出现oom。不过一般的需求是做topn。
3.sink
writeAsText():将元素以字符串形式逐行写入,这些字符串通过调用每个元素的toString()方法来获取
writeAsCsv():将元组以逗号分隔写入文件中,行及字段之间的分隔是可配置的。每个字段的值来自对象的toString()方法
print():打印每个元素的toString()方法的值到标准输出或者标准错误输出流中
4.重分区
Rebalance:对数据集进行再平衡,重分区,消除数据倾斜
dataSet.rebalance()
Hash-Partition:根据指定key的哈希值对数据集进行分区
dataSet.partitionByHash()
Range-Partition:根据指定的key对数据集进行范围分区
dataSet.partitionByRange()
Custom Partitioning:自定义分区规则。
自定义分区需要实现Partitioner接口
dataSet.partitionCustom(partitioner, "someKey")
或者dataSet.partitionCustom(partitioner, 0)
和DataStream实现一样,Scala实现demo如下