重要:http://homePage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html
上面这个网址可以学习好多spark的API函数的具体使用,简单易学!
当spark程序从HDFS上读取数据时,默认是一个block生成一个分区!
当然这是直接用textFile且没有指定分区的情况下,如果这里我们指定了分区那么就按照我们指定的个数的分区!
spark读取数据的时候还是依靠的hadoop的InputFormat中的切片规则来读取数据的!
对于combineByKey,reduceByKey,groupByKey这些算子,如果是对key-value类型的键值对执行这些算子,默认是按着HashPartitioner进行分区!
当然我们也可以自己指定分区个数!
==============================================================================================================================================================
mapPartitions
def mapPartitions[U](f: (Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]
该函数和map函数类似,只不过映射函数的参数由RDD中的每一个元素变成了RDD中每一个分区的迭代器。如果在映射的过程中需要频繁创建额外的对象,使用mapPartitions要比map高效的过。
比如,将RDD中的所有数据通过JDBC连接写入数据库,如果使用map函数,可能要为每一个元素都创建一个connection,这样开销很大,如果使用mapPartitions,那么只需要针对每一个分区建立一个connection。
参数preservesPartitioning表示是否保留父RDD的partitioner分区信息。
var rdd1 = sc.makeRDD(1 to 5,2)
//rdd1有两个分区
scala> var rdd3 = rdd1.mapPartitions{ x => {
| var result = List[Int]()
| var i = 0
| while(x.hasNext){
| i += x.next()
| }
| result.::(i).iterator
| }}
rdd3: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[84] at mapPartitions at :23
//rdd3将rdd1中每个分区中的数值累加
scala> rdd3.collect
res65: Array[Int] = Array(3, 12)
scala> rdd3.partitions.size
res66: Int = 2
===============================================================================================================================================================================
mapPartitionsWithIndex
def mapPartitionsWithIndex[U](f: (Int, Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]
函数作用同mapPartitions,不过提供了两个参数,第一个参数为分区的索引。
var rdd1 = sc.makeRDD(1 to 5,2)
//rdd1有两个分区
var rdd2 = rdd1.mapPartitionsWithIndex{
(x,iter) => {
var result = List[String]()
var i = 0
while(iter.hasNext){
i += iter.next()
}
result.::(x + "|" + i).iterator
}
}
//rdd2将rdd1中每个分区的数字累加,并在每个分区的累加结果前面加了分区索引
scala> rdd2.collect
res13: Array[String] = Array(0|3, 1|12)
====================================================================================================================================================================
1.重新分区,repartition和coalesce其实repartition()算子中在底层调用的就是coalece(n,true)算子!
2.URL host=new URL("url").getHost(此URL是java.net.Url)!可以通过给URL类传入一个字符串直接获取其主机名!
3.
上面这个网址可以学习好多spark的API函数的具体使用,简单易学!
当spark程序从HDFS上读取数据时,默认是一个block生成一个分区!
当然这是直接用textFile且没有指定分区的情况下,如果这里我们指定了分区那么就按照我们指定的个数的分区!
spark读取数据的时候还是依靠的hadoop的InputFormat中的切片规则来读取数据的!
对于combineByKey,reduceByKey,groupByKey这些算子,如果是对key-value类型的键值对执行这些算子,默认是按着HashPartitioner进行分区!
当然我们也可以自己指定分区个数!
==============================================================================================================================================================
mapPartitions
def mapPartitions[U](f: (Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]
该函数和map函数类似,只不过映射函数的参数由RDD中的每一个元素变成了RDD中每一个分区的迭代器。如果在映射的过程中需要频繁创建额外的对象,使用mapPartitions要比map高效的过。
比如,将RDD中的所有数据通过JDBC连接写入数据库,如果使用map函数,可能要为每一个元素都创建一个connection,这样开销很大,如果使用mapPartitions,那么只需要针对每一个分区建立一个connection。
参数preservesPartitioning表示是否保留父RDD的partitioner分区信息。
var rdd1 = sc.makeRDD(1 to 5,2)
//rdd1有两个分区
scala> var rdd3 = rdd1.mapPartitions{ x => {
| var result = List[Int]()
| var i = 0
| while(x.hasNext){
| i += x.next()
| }
| result.::(i).iterator
| }}
rdd3: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[84] at mapPartitions at :23
//rdd3将rdd1中每个分区中的数值累加
scala> rdd3.collect
res65: Array[Int] = Array(3, 12)
scala> rdd3.partitions.size
res66: Int = 2
===============================================================================================================================================================================
mapPartitionsWithIndex
def mapPartitionsWithIndex[U](f: (Int, Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]
函数作用同mapPartitions,不过提供了两个参数,第一个参数为分区的索引。
var rdd1 = sc.makeRDD(1 to 5,2)
//rdd1有两个分区
var rdd2 = rdd1.mapPartitionsWithIndex{
(x,iter) => {
var result = List[String]()
var i = 0
while(iter.hasNext){
i += iter.next()
}
result.::(x + "|" + i).iterator
}
}
//rdd2将rdd1中每个分区的数字累加,并在每个分区的累加结果前面加了分区索引
scala> rdd2.collect
res13: Array[String] = Array(0|3, 1|12)
====================================================================================================================================================================
1.重新分区,repartition和coalesce其实repartition()算子中在底层调用的就是coalece(n,true)算子!
2.URL host=new URL("url").getHost(此URL是java.net.Url)!可以通过给URL类传入一个字符串直接获取其主机名!
3.