spark键值对操作(二)之数据分区

1.数据分区

为了减小分布式应用通信的代价,所以要控制数据分区以获得最小的网络传输
spark中所有键值对RDD都可以进行分区

有如下这样的需求:需要对用户访问其未订阅页面
的情况进行统计,以更好的向用户推荐内容。现有一个很大的用户信息表(UserID,UserInfo)对组成的RDD,其中UserInfo包含一个该用户所订阅的主题列表,该应用会周期性与一个小文件(UserID,LinkInfo)组合,这个小文件存放着过去五分钟内网站各用户的访问情况

//scala
// 初始化代码;从HDFS商的一个Hadoop SequenceFile中读取用户信息
// userData中的元素会根据它们被读取时的来源,即HDFS块所在的节点来分布
// Spark此时无法获知某个特定的UserID对应的记录位于哪个节点上
val sc = new SparkContext(...)
val userData = sc.sequenceFile[UserID, UserInfo]("hdfs://...").persist()
// 周期性调用函数来处理过去五分钟产生的事件日志
// 假设这是一个包含(UserID, LinkInfo)对的SequenceFile
def processNewLogs(logFileName: String) {
    val events = sc.sequenceFile[UserID, LinkInfo](logFileName)
    val joined = userData.join(events)// RDD of (UserID, (UserInfo, LinkInfo)) pairs
    val offTopicVisits = joined.filter {
        case (userId, (userInfo, linkInfo)) => !userInfo.topics.contains(linkInfo.topic)
    }.count()
    println("Number of visits to non-subscribed topics: " + offTopicVisits)
}

代码存在的问题:
在每次调用processNewLogs()时,会进行如下的操作,首先将两个数据集的所有键的hash值计算出,然后将hash相同的记录通过网络传到同一台机器上,然后对所有键相同的记录进行连接操作。因为userdata RDD相当大,并且及时userdataRDD不变,但是仍然需要对userDataRDD进行hash值计算和shuffle。

解决方案
对userdata 表使用partitionBy()将该表转化为哈希分区

// 构造100个分区
val userData = sc.sequenceFile[UserID, UserInfo]("hdfs://...").partitionBy(new HashPartitioner(100)) .persist()

spark其他一些操作会自动为结果RDD设定已知的分区方式信息,除join外还有很多操作会利用已有的分区信息,例如sortByKey() 和groupByKey(),map() 这样的操作会导致新的RDD 失去父RDD 的分区信息

1.1获取RDD的分区方式

val pairs = sc.parallelize(List((1, 1), (2, 2), (3, 3)))
pairs.partitioner
val partitioned = pairs.partitionBy(new spark.HashPartitioner(2))
partitioned.partitioner

如果在后续中使用partitioned,那么就要进行persist()操作,否则后续的RDD操作会对partitioned的整个谱系重新求值

1.2从分区中获益的操作

对数据跨节点shuffle的过程都是数据分区中获益的过程
cogroup()groupWith()join()leftOuterJoin()rightOuterJoin()groupByKey()reduceByKey()combineByKey()lookup()

reduceByKey因为在本地上进行规约操作结束后才从个节点传到主节点,所以网络开销不大,对于cogroup()和join这样的二元操作,预先进行数据分区会导致至少其中一个RDD不发生shuffle

1.3影响分区方式的操作

spark内部的操作知道如何影响分区方式,并将对数据进行的操作的结果RDD自动设置对应的分区器,如果调用join来连接两个RDD,由于键相同的元素会被哈希到同一台机器上,spark知道输出的结果也是hash分区的,这样对结果进行reduceByKey()这样的操作会快很多

但是map因为键可能会被改变,所以不会有固定的分区方式,不过mapValues() 和flatMapValues() 可以作为替代方法

以下是为生成的结果RDD设置好分区方式的操作
cogroup()、groupWith()、join()、lef tOuterJoin()、rightOuterJoin()、groupByKey()、reduceByKey()、combineByKey()、partitionBy()、sort()、mapValues()

对于二元操作,输出数据的分区方式取决于父RDD 的分区方式。默认情况下,结果会采用哈希分区,分区的数量和操作的并行度一样。不过,如果其中的一个父RDD 已经设置过分区方式,那么结果就会采用那种分区方式;如果两个父RDD 都设置过分区方式,结果RDD 会采用第一个父RDD 的分区方式。

1.3自定义分区方式

http://www.cnn.com/WORLDhttp://www.cnn.com/US进行hash分区时,会被分配到不同的节点,但是为了避免shuffle,我们需要自定义分区方式

import urlparse
def hash_domain(url):
    return hash(urlparse.urlparse(url).netloc)
rdd.partitionBy(20, hash_domain) # 创建20个分区
阅读更多
版权声明:小伙伴们如有错误,欢迎交流 https://blog.csdn.net/JavaMoo/article/details/77648954
上一篇spark键值对操作(一)
下一篇浅谈矩阵分解在推荐系统中的应用
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭