rdd -- 排序

需求

对100万条在0~1000万之间的数据进行统计排序(按次数排序,按数据大小排序)
输入数据:
8995149,5191755,2093544,9816608,4360204,5507730,1289204,6166586,8955325,9567003,
8264570,5202810,5353570,279129,9281133,6205171,5684360,1666876,4727056,2383250,
9176282,2815703,5145176,7514591,8648912,4633139,4176111,8954834,1702148,7978927,

spark内置排序

spark的排序是默认按照key大小或字典顺序来输出

需求实现方法

自定义实现Partitioner中的分区方法和Ordered中的排序规则

NumberPartitioner
class NumberPartitioner (num: Int, maxValue: Int) extends Partitioner {
  override def numPartitions: Int = num
  val partitionerSize = maxValue / num

  override def getPartition(key: Any): Int = {
    val intKey = key.toString()
    val partition = Integer.parseInt(intKey)/ partitionerSize
    if( partition >= num){
      num -1
    }else{
      partition
    }
  }
}
NumberSort

case class NumberSort(count: Int, number: String) extends Ordered[NumberSort] {

  override def compare(that: NumberSort): Int = {
    val comp = this.count - that.count
    if(comp == 0){
      Integer.parseInt(this.number) - Integer.parseInt(that.number)
    }else{
      comp
    }
  }
}

scala代码实现

object SortNumber {

  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local[4]").appName("sort").getOrCreate()
    val sc = spark.sparkContext
    val rdd = sc.textFile("./data")
    val data = rdd.flatMap(x => x.split(","))
      .map(x => (x, 1))
      .reduceByKey(_ + _)
      .map(x => (x._2, x._1))

    val repatition = data.repartitionAndSortWithinPartitions(new NumberPartitioner(10, 10))
      .sortBy(x => NumberSort(x._1, x._2))
    repatition.collect().foreach(println)
  }
}

结果

....
(3,157848)
(3,162281)
(3,175141)
(3,182030)
(3,184255)
(3,186800)
(3,191642)
(3,196211)
(3,197664)
(3,198026)
(3,205800)
(3,210371)
(3,219295)
(3,219421)
(3,220947)
(3,225570)
(3,235623)
(3,237097)
(3,247849)
(3,274310)
(3,275134)
(3,291295)
(3,294941)
(3,298177)
(3,318703)
(3,324332)
(3,333473)
(3,337630)
(3,338851)
(3,358750)
(3,359655)
(3,367949)
(3,370353)
(3,370885)
(3,376587)
(3,376965)
(3,380642)
(3,386270)
(3,395602)
(3,399240)
(3,402990)
(3,412888)
(3,418559)
(3,423324)
(3,425952)
(3,429702)
(3,441030)
(3,441972)
(3,442486)
(3,445123)
(3,450882)
(3,471289)
(3,485809)
(3,490406)
(3,490720)
(3,490767)
(3,503422)
(3,540476)
(3,541462)
(3,541936)
(3,543649)
(3,555941)
(3,556426)
(3,561364)
(3,561410)
(3,577015)
(3,595005)
(3,600388)
(3,606221)
(3,611167)
(3,613054)
(3,613627)
(3,623815)
(3,638412)
(3,643399)
(3,652893)
(3,654550)
(3,670893)
(3,670972)
(3,673806)
(3,695540)
(3,697068)
(3,698750)
(3,700782)
(3,702733)
(3,709005)
(3,715703)
(3,719527)
(3,730432)
(3,735497)
(3,744335)
(3,757033)
(3,761242)
(3,764732)
(3,772620)
(3,774360)
(3,776315)
(3,777765)
(3,779811)
(3,782109)
(3,783138)
(3,783983)
(3,799209)
(3,804071)
(3,813787)
(3,816924)
(3,822421)
(3,824651)
(3,835130)
(3,838879)
(3,839646)
(3,839657)
(3,845160)
(3,860567)
(3,860610)
(3,862325)
(3,862745)
(3,862800)
(3,875034)
(3,879805)
(3,882539)
(3,887510)
(3,889577)
(3,901571)
(3,903105)
(3,909716)
(3,913372)
(3,923963)
(3,928603)
(3,930618)
(3,933254)
(3,941230)
(3,943320)
(3,950002)
(3,959557)
(3,961672)
(3,963719)
(3,969109)
(3,978129)
(3,986106)
(3,994394)
(3,996125)
(3,1001630)
(3,1003413)
(3,1005166)
(3,1006330)
(3,1015026)
(3,1029917)
(3,1030007)
(3,1030893)
(3,1033110)
(3,1039203)
(3,1040698)
(3,1045585)
(3,1054991)
(3,1057690)
(3,1067305)
(3,1081315)
(3,1083279)
(3,1090684)
(3,1097429)
(3,1113175)
(3,1119843)
(3,1122097)
(3,1125876)
(3,1143937)
(3,1153306)
(3,1156626)
(3,1167389)
(3,1180196)
(3,1181140)
(3,1181599)
(3,1189000)
(3,1191172)
(3,1193290)
(3,1194059)
(3,1207460)
(3,1212449)
(3,1216035)
(3,1232698)
(3,1235917)
(3,1238417)
(3,1239696)
(3,1246499)
(3,1253429)
(3,1259356)
(3,1260763)
(3,1275603)
(3,1282104)
(3,1283184)
(3,1289555)
(3,1303092)
(3,1307249)
(3,1307991)
(3,1309095)
(3,1314115)
(3,1316602)
(3,1330400)
(3,1331771)
(3,1334850)
(3,1337232)
(3,1339387)
(3,1347416)
(3,1348851)
(3,1354406)
(3,1355484)
(3,1378843)
(3,1393500)
(3,1420032)
(3,1431923)
(3,1435620)
(3,1435694)
(3,1452040)
(3,1456140)
(3,1457072)
(3,1459315)
(3,1462853)
(3,1466838)
(3,1472828)
(3,1482938)
(3,1484969)
(3,1486298)
(3,1498782)
(3,1499692)
(3,1517576)
(3,1519394)
(3,1522178)
(3,1523266)
(3,1529864)
(3,1538262)
(3,1546068)
(3,1560742)
(3,1561413)
(3,1567558)
(3,1568751)
(3,1585038)
(3,1592362)
(3,1600698)
(3,1605497)
(3,1625363)
(3,1629926)
(3,1635450)
(3,1635794)
(3,1641161)
(3,1655769)
(3,1660658)
(3,1673265)
(3,1678698)
(3,1679419)
(3,1684655)
(3,1716398)
(3,1726944)
(3,1727717)
(3,1744626)
(3,1747569)
(3,1757115)
(3,1762881)
(3,1770312)
(3,1779598)
(3,1786706)
(3,1792907)
(3,1794424)
(3,1798070)
(3,1800548)
(3,1802912)
(3,1806697)
(3,1813047)
(3,1813057)
(3,1822932)
(3,1826942)
(3,1828686)
(3,1865241)
(3,1866069)
(3,1870420)
(3,1874224)
(3,1874331)
(3,1888393)
(3,1904227)
(3,1905374)
(3,1917858)
(3,1919852)
(3,1929181)
(3,1933900)
(3,1943907)
(3,1948388)
(3,1955983)
(3,1957461)
(3,1958614)
(3,1975523)
(3,1978462)
(3,1980302)
(3,1986102)
(3,2001474)
(3,2015493)
(3,2016312)
(3,2018826)
(3,2024971)
(3,2030701)
(3,2034343)
(3,2037630)
(3,2058367)
(3,2075987)
(3,2083430)
(3,2098242)
(3,2101949)
(3,2109583)
(3,2115102)
(3,2129795)
(3,2130278)
(3,2137258)
(3,2143401)
(3,2154321)
(3,2160702)
(3,2165771)
(3,2168404)
(3,2170105)
(3,2176319)
(3,2179567)
(3,2188622)
(3,2189714)
(3,2193811)
(3,2210252)
(3,2216055)
(3,2231743)
(3,2232287)
(3,2240676)
(3,2263537)
(3,2268521)
(3,2278915)
(3,2288814)
(3,2298340)
(3,2311608)
(3,2317553)
(3,2318929)
(3,2320126)
(3,2320251)
(3,2325615)
(3,2350176)
(3,2369647)
(3,2375402)
(3,2377327)
(3,2401350)
(3,2403069)
(3,2403885)
(3,2406681)
(3,2408759)
(3,2435941)
(3,2436717)
(3,2440418)
(3,2444617)
(3,2455870)
(3,2456198)
(3,2464205)
(3,2474901)
(3,2486659)
(3,2496928)
(3,2507963)
(3,2510679)
(3,2513801)
(3,2516173)
(3,2520602)
(3,2523443)
(3,2539044)
(3,2539529)
(3,2563804)
(3,2575825)
(3,2579676)
(3,2581933)
(3,2596189)
(3,2597237)
(3,2599027)
(3,2608068)
(3,2625367)
(3,2634449)
(3,2640952)
(3,2646447)
(3,2649415)
(3,2649566)
(3,2649942)
(3,2653324)
(3,2680323)
(3,2680879)
(3,2686864)
(3,2690270)
(3,2696890)
(3,2728183)
(3,2728659)
(3,2732499)
(3,2746346)
(3,2750613)
(3,2753669)
(3,2770442)
(3,2779198)
(3,2792024)
(3,2808557)
(3,2808817)
(3,2814720)
(3,2815929)
(3,2832066)
(3,2837928)
(3,2838831)
(3,2839318)
(3,2845190)
(3,2847837)
(3,2854974)
(3,2880818)
(3,2881464)
(3,2881622)
(3,2881696)
(3,2899292)
(3,2900516)
(3,2906467)
(3,2910081)
(3,2910590)
(3,2912350)
(3,2917077)
(3,2918384)
(3,2919243)
(3,2923841)
(3,2931947)
(3,2932653)
(3,2936671)
(3,2939454)
(3,2950781)
(3,2956650)
(3,2980370)
(3,2983044)
(3,2988887)
(3,2995907)
(3,3010614)
(3,3017124)
(3,3024365)
(3,3029809)
(3,3032626)
(3,3040341)
(3,3047747)
(3,3049310)
(3,3049956)
(3,3050596)
(3,3063376)
(3,3064175)
(3,3069244)
(3,3086639)
(3,3107526)
(3,3117742)
(3,3125083)
(3,3130187)
(3,3133709)
(3,3136707)
(3,3145778)
(3,3156984)
(3,3157860)
(3,3158807)
(3,3160877)
(3,3162989)
(3,3167567)
(3,3170981)
(3,3180477)
(3,3183412)
(3,3186177)
(3,3195957)
(3,3206864)
(3,3224547)
(3,3229705)
(3,3230348)
(3,3235266)
(3,3244700)
(3,3250360)
(3,3268097)
(3,3276289)
(3,3279106)
(3,3287461)
(3,3295866)
(3,3305158)
(3,3307305)
(3,3327305)
(3,3330519)
(3,3331834)
(3,3337655)
(3,3342907)
(3,3343507)
(3,3365419)
(3,3379741)
(3,3381292)
(3,3383338)
(3,3397561)
(3,3399345)
(3,3400204)
(3,3410829)
(3,3412862)
(3,3419307)
(3,3420381)
(3,3438922)
(3,3461232)
(3,3462139)
(3,3473235)
(3,3478688)
(3,3499185)
(3,3499394)
(3,3507344)
(3,3534182)
(3,3549110)
(3,3549113)
(3,3558550)
(3,3564865)
(3,3576963)
(3,3580381)
(3,3594703)
(3,3600406)
(3,3615721)
(3,3623556)
(3,3630341)
(3,3638789)
(3,3639839)
(3,3642479)
(3,3649475)
(3,3649894)
(3,3653067)
(3,3662643)
(3,3672872)
(3,3674749)
(3,3676574)
(3,3683723)
(3,3686282)
(3,3699557)
(3,3701675)
(3,3702201)
(3,3707203)
(3,3708378)
(3,3710441)
(3,3714779)
(3,3717891)
(3,3751381)
(3,3753717)
(3,3761481)
(3,3764115)
(3,3765740)
(3,3769282)
(3,3787095)
(3,3787229)
(3,3791517)
(3,3791519)
(3,3801407)
(3,3808651)
(3,3810276)
(3,3818347)
(3,3836176)
(3,3842092)
(3,3847570)
(3,3854654)
(3,3857747)
(3,3860473)
(3,3884120)
(3,3888851)
(3,3898947)
(3,3902729)
(3,3909839)
(3,3916974)
(3,3918504)
(3,3921427)
(3,3929086)
(3,3932487)
(3,3941382)
(3,3943374)
(3,3943491)
(3,3961511)
(3,3964749)
(3,3975655)
(3,3976860)
(3,3987431)
(3,3990040)
(3,3998926)
(3,4006789)
(3,4011144)
(3,4018068)
(3,4021038)
(3,4034165)
(3,4034369)
(3,4034775)
(3,4039410)
(3,4046742)
(3,4051811)
(3,4056481)
(3,4059006)
(3,4065381)
(3,4072086)
(3,4073047)
(3,4075839)
(3,4083549)
(3,4097593)
(3,4105341)
(3,4105875)
(3,4106795)
(3,4138817)
(3,4140849)
(3,4141269)
(3,4144879)
(3,4145551)
(3,4155122)
(3,4156813)
(3,4158957)
(3,4174457)
(3,4176717)
(3,4179050)
(3,4184575)
(3,4185831)
(3,4212165)
(3,4218591)
(3,4225860)
(3,4226210)
(3,4226959)
(3,4234477)
(3,4239580)
(3,4242227)
(3,4245188)
(3,4248401)
(3,4250747)
(3,4253893)
(3,4258604)
(3,4284432)
(3,4294380)
(3,4303854)
(3,4304997)
(3,4312040)
(3,4312679)
(3,4317862)
(3,4324521)
(3,4324775)
(3,4331877)
(3,4338710)
(3,4348154)
(3,4350503)
(3,4370168)
(3,4371352)
(3,4375629)
(3,4378528)
(3,4388477)
(3,4388985)
(3,4403496)
(3,4406131)
(3,4408312)
(3,4416806)
(3,4418283)
(3,4425242)
(3,4431702)
(3,4435478)
(3,4445359)
(3,4447503)
(3,4465522)
(3,4466234)
(3,4468969)
(3,4471128)
(3,4473367)
(3,4480960)
(3,4485049)
(3,4501068)
(3,4501176)
(3,4514495)
(3,4518637)
(3,4520870)
(3,4521015)
(3,4537221)
(3,4562292)
(3,4569827)
(3,4572978)
(3,4577400)
(3,4577942)
(3,4579340)
(3,4589609)
(3,4591435)
(3,4601302)
(3,4602535)
(3,4630212)
(3,4634935)
(3,4635199)
(3,4649076)
(3,4651530)
(3,4660974)
(3,4672899)
(3,4682499)
(3,4687313)
(3,4689943)
(3,4715831)
(3,4719693)
(3,4724403)
(3,4725478)
(3,4744164)
(3,4745281)
(3,4745352)
(3,4746261)
(3,4752059)
(3,4753966)
(3,4764822)
(3,4770400)
(3,4777217)
(3,4779256)
(3,4780941)
(3,4788825)
(3,4792063)
(3,4800260)
(3,4808558)
(3,4821499)
(3,4825497)
(3,4830678)
(3,4832557)
(3,4833264)
(3,4835288)
(3,4835960)
(3,4856521)
(3,4871844)
(3,4872316)
(3,4882379)
(3,4882809)
(3,4897221)
(3,4905859)
(3,4939820)
(3,4943199)
(3,4954942)
(3,4985328)
(3,4986187)
(3,4990458)
(3,4991478)
(3,5001872)
(3,5018152)
(3,5024636)
(3,5030902)
(3,5051887)
(3,5053327)
(3,5058411)
(3,5062053)
(3,5062357)
(3,5065303)
(3,5098477)
(3,5099723)
(3,5117424)
(3,5127836)
(3,5148791)
(3,5155130)
(3,5155693)
(3,5165618)
(3,5170126)
(3,5175662)
(3,5177620)
(3,5184214)
(3,5195606)
(3,5219123)
(3,5249340)
(3,5258114)
(3,5262955)
(3,5263239)
(3,5267287)
(3,5283769)
(3,5283889)
(3,5296726)
(3,5311874)
(3,5317950)
(3,5318317)
(3,5320558)
(3,5326903)
(3,5342900)
(3,5344332)
(3,5355135)
(3,5362457)
(3,5365950)
(3,5381218)
(3,5389882)
(3,5399071)
(3,5403795)
(3,5408732)
(3,5413011)
(3,5417979)
(3,5426119)
(3,5430365)
(3,5433851)
(3,5446747)
(3,5453861)
(3,5455874)
(3,5456821)
(3,5457134)
(3,5458306)
(3,5472559)
(3,5484608)
(3,5490132)
(3,5494954)
(3,5503696)
(3,5511621)
(3,5514627)
(3,5527206)
(3,5533169)
(3,5537728)
(3,5538046)
(3,5544690)
(3,5588033)
(3,5591612)
(3,5597931)
(3,5613833)
(3,5621690)
(3,5628383)
(3,5630766)
(3,5643124)
(3,5652017)
(3,5653478)
(3,5654334)
(3,5655807)
(3,5660926)
(3,5673076)
(3,5673631)
(3,5676156)
(3,5682041)
(3,5682840)
(3,5703036)
(3,5711738)
(3,5714727)
(3,5720060)
(3,5736078)
(3,5738255)
(3,5753093)
(3,5755091)
(3,5756134)
(3,5775504)
(3,5776088)
(3,5776262)
(3,5798217)
(3,5813542)
(3,5819231)
(3,5820031)
(3,5821420)
(3,5825115)
(3,5831980)
(3,5835142)
(3,5840755)
(3,5915489)
(3,5920027)
(3,5925111)
(3,5928579)
(3,5937950)
(3,5937980)
(3,5943419)
(3,5960374)
(3,5962603)
(3,5968208)
(3,5973421)
(3,5980652)
(3,6000794)
(3,6002239)
(3,6023687)
(3,6027549)
(3,6028517)
(3,6029353)
(3,6034689)
(3,6042435)
(3,6044697)
(3,6044911)
(3,6049708)
(3,6063519)
(3,6064333)
(3,6064567)
(3,6082259)
(3,6094538)
(3,6095802)
(3,6099728)
(3,6102085)
(3,6105238)
(3,6112314)
(3,6120020)
(3,6122048)
(3,6122401)
(3,6125104)
(3,6128318)
(3,6140926)
(3,6175224)
(3,6182013)
(3,6198399)
(3,6200774)
(3,6205880)
(3,6206325)
(3,6209624)
(3,6269204)
(3,6285772)
(3,6286876)
(3,6289769)
(3,6298238)
(3,6303996)
(3,6314008)
(3,6314227)
(3,6322451)
(3,6324080)
(3,6326455)
(3,6333146)
(3,6334012)
(3,6338328)
(3,6341769)
(3,6349415)
(3,6350685)
(3,6350779)
(3,6360814)
(3,6365503)
(3,6369023)
(3,6375000)
(3,6382759)
(3,6385487)
(3,6399887)
(3,6401007)
(3,6410780)
(3,6415742)
(3,6423166)
(3,6423395)
(3,6435694)
(3,6439429)
(3,6444721)
(3,6447891)
(3,6454651)
(3,6462245)
(3,6469083)
(3,6469108)
(3,6489117)
(3,6492220)
(3,6494693)
(3,6499037)
(3,6521279)
(3,6532191)
(3,6538986)
(3,6546673)
(3,6551623)
(3,6552856)
(3,6567579)
(3,6568621)
(3,6584726)
(3,6585946)
(3,6594815)
(3,6597579)
(3,6602898)
(3,6614647)
(3,6615903)
(3,6636922)
(3,6640803)
(3,6645337)
(3,6646649)
(3,6675466)
(3,6680188)
(3,6707445)
(3,6724133)
(3,6734421)
(3,6745402)
(3,6750620)
(3,6778898)
(3,6779323)
(3,6783609)
(3,6789500)
(3,6801065)
(3,6808991)
(3,6817462)
(3,6825865)
(3,6827732)
(3,6842775)
(3,6856174)
(3,6861134)
(3,6866958)
(3,6868434)
(3,6885197)
(3,6890640)
(3,6899585)
(3,6904011)
(3,6908242)
(3,6934509)
(3,6943060)
(3,6951873)
(3,6964049)
(3,6969628)
(3,6981235)
(3,6984116)
(3,6994385)
(3,6997833)
(3,7006531)
(3,7014060)
(3,7015929)
(3,7018882)
(3,7032585)
(3,7036152)
(3,7038264)
(3,7040313)
(3,7063129)
(3,7071573)
(3,7072033)
(3,7089003)
(3,7090912)
(3,7097714)
(3,7098101)
(3,7105252)
(3,7126596)
(3,7134614)
(3,7139048)
(3,7139654)
(3,7161027)
(3,7161335)
(3,7174205)
(3,7181239)
(3,7181280)
(3,7181692)
(3,7197663)
(3,7197674)
(3,7224280)
(3,7233968)
(3,7239176)
(3,7242501)
(3,7252452)
(3,7257353)
(3,7257377)
(3,7258598)
(3,7272423)
(3,7287652)
(3,7294565)
(3,7306001)
(3,7314529)
(3,7325938)
(3,7326932)
(3,7336857)
(3,7339179)
(3,7343763)
(3,7367891)
(3,7373072)
(3,7374100)
(3,7380759)
(3,7389223)
(3,7392019)
(3,7402630)
(3,7403744)
(3,7416207)
(3,7418258)
(3,7425735)
(3,7433832)
(3,7435945)
(3,7437395)
(3,7448181)
(3,7461166)
(3,7467115)
(3,7474697)
(3,7487846)
(3,7493667)
(3,7494326)
(3,7501024)
(3,7507297)
(3,7525478)
(3,7535946)
(3,7537758)
(3,7541756)
(3,7542499)
(3,7543891)
(3,7552750)
(3,7560771)
(3,7567673)
(3,7569202)
(3,7572074)
(3,7580470)
(3,7584887)
(3,7587307)
(3,7599570)
(3,7605634)
(3,7609837)
(3,7610339)
(3,7614853)
(3,7616162)
(3,7616409)
(3,7622990)
(3,7629803)
(3,7632140)
(3,7638120)
(3,7647778)
(3,7649103)
(3,7664826)
(3,7666226)
(3,7668334)
(3,7668579)
(3,7668621)
(3,7669552)
(3,7674913)
(3,7675280)
(3,7678331)
(3,7694519)
(3,7718426)
(3,7724044)
(3,7724230)
(3,7734583)
(3,7761387)
(3,7764626)
(3,7769627)
(3,7770731)
(3,7788762)
(3,7789123)
(3,7792887)
(3,7810360)
(3,7837455)
(3,7845983)
(3,7846974)
(3,7853941)
(3,7859149)
(3,7859218)
(3,7860182)
(3,7861305)
(3,7865106)
(3,7868082)
(3,7868693)
(3,7874614)
(3,7880838)
(3,7881102)
(3,7888149)
(3,7897022)
(3,7916833)
(3,7917111)
(3,7917241)
(3,7919482)
(3,7923778)
(3,7934586)
(3,7949637)
(3,7955688)
(3,7964846)
(3,7972485)
(3,7985172)
(3,7987177)
(3,7991124)
(3,7992333)
(3,7998240)
(3,7998717)
(3,8007670)
(3,8026246)
(3,8029887)
(3,8050140)
(3,8052216)
(3,8054875)
(3,8075967)
(3,8079266)
(3,8083185)
(3,8084715)
(3,8097491)
(3,8115399)
(3,8118433)
(3,8131865)
(3,8144221)
(3,8144674)
(3,8151103)
(3,8160935)
(3,8167518)
(3,8196026)
(3,8205666)
(3,8206445)
(3,8231245)
(3,8248579)
(3,8279354)
(3,8280539)
(3,8295994)
(3,8297842)
(3,8303309)
(3,8313035)
(3,8318052)
(3,8318085)
(3,8320845)
(3,8331894)
(3,8342687)
(3,8352890)
(3,8354812)
(3,8372431)
(3,8372463)
(3,8378535)
(3,8381031)
(3,8395007)
(3,8410299)
(3,8413157)
(3,8414842)
(3,8426813)
(3,8430922)
(3,8431281)
(3,8432911)
(3,8433045)
(3,8433238)
(3,8438299)
(3,8445172)
(3,8450290)
(3,8484163)
(3,8487067)
(3,8487193)
(3,8490654)
(3,8497016)
(3,8498553)
(3,8501314)
(3,8503210)
(3,8506907)
(3,8507572)
(3,8518813)
(3,8522789)
(3,8533427)
(3,8534706)
(3,8549246)
(3,8549334)
(3,8573131)
(3,8583203)
(3,8583457)
(3,8584431)
(3,8585881)
(3,8587628)
(3,8592781)
(3,8595579)
(3,8608889)
(3,8610898)
(3,8617704)
(3,8618461)
(3,8620909)
(3,8637333)
(3,8638076)
(3,8647901)
(3,8652620)
(3,8656568)
(3,8661831)
(3,8663042)
(3,8667102)
(3,8669341)
(3,8670317)
(3,8680936)
(3,8707309)
(3,8709910)
(3,8712950)
(3,8728857)
(3,8730561)
(3,8745291)
(3,8760151)
(3,8761664)
(3,8777727)
(3,8777969)
(3,8783669)
(3,8798219)
(3,8799062)
(3,8817663)
(3,8821522)
(3,8829442)
(3,8835973)
(3,8847587)
(3,8848192)
(3,8850549)
(3,8853110)
(3,8856842)
(3,8870895)
(3,8871187)
(3,8875811)
(3,8880647)
(3,8883298)
(3,8883546)
(3,8884827)
(3,8885070)
(3,8885901)
(3,8889402)
(3,8889531)
(3,8889733)
(3,8897410)
(3,8897838)
(3,8910649)
(3,8910972)
(3,8913755)
(3,8936251)
(3,8937899)
(3,8945213)
(3,8981426)
(3,8983585)
(3,8985407)
(3,8997566)
(3,9002356)
(3,9004592)
(3,9017561)
(3,9018219)
(3,9021082)
(3,9023030)
(3,9023158)
(3,9030156)
(3,9037561)
(3,9049351)
(3,9064388)
(3,9080326)
(3,9083762)
(3,9089580)
(3,9094611)
(3,9103728)
(3,9105729)
(3,9118808)
(3,9121114)
(3,9133395)
(3,9138104)
(3,9146593)
(3,9149393)
(3,9169551)
(3,9180190)
(3,9184227)
(3,9204395)
(3,9206120)
(3,9217992)
(3,9221885)
(3,9233696)
(3,9248385)
(3,9258382)
(3,9261429)
(3,9262352)
(3,9264286)
(3,9265825)
(3,9266933)
(3,9273269)
(3,9273471)
(3,9276328)
(3,9279578)
(3,9280521)
(3,9281230)
(3,9291908)
(3,9306926)
(3,9320758)
(3,9322962)
(3,9328880)
(3,9332546)
(3,9342753)
(3,9343131)
(3,9345681)
(3,9367280)
(3,9371750)
(3,9374251)
(3,9376333)
(3,9376979)
(3,9378602)
(3,9381422)
(3,9385036)
(3,9387799)
(3,9393487)
(3,9404928)
(3,9423806)
(3,9439060)
(3,9442102)
(3,9449875)
(3,9451954)
(3,9452464)
(3,9455967)
(3,9460631)
(3,9463678)
(3,9467010)
(3,9470632)
(3,9472741)
(3,9473784)
(3,9476400)
(3,9499418)
(3,9500279)
(3,9507529)
(3,9509221)
(3,9513576)
(3,9517070)
(3,9531154)
(3,9539449)
(3,9556734)
(3,9584307)
(3,9586128)
(3,9592234)
(3,9608200)
(3,9610845)
(3,9612559)
(3,9617697)
(3,9636165)
(3,9653629)
(3,9666818)
(3,9671796)
(3,9686569)
(3,9692766)
(3,9693250)
(3,9693643)
(3,9718659)
(3,9725116)
(3,9739124)
(3,9741114)
(3,9742594)
(3,9751989)
(3,9754726)
(3,9765381)
(3,9778471)
(3,9787076)
(3,9790387)
(3,9815782)
(3,9820051)
(3,9821788)
(3,9832578)
(3,9833483)
(3,9836843)
(3,9854118)
(3,9861320)
(3,9865173)
(3,9865207)
(3,9882958)
(3,9896969)
(3,9897150)
(3,9907004)
(3,9912773)
(3,9923523)
(3,9925681)
(3,9925774)
(3,9930802)
(3,9940148)
(3,9943331)
(3,9944082)
(3,9946835)
(3,9951097)
(3,9958537)
(3,9973809)
(3,9987455)
(3,9989459)
(3,9993715)
(3,9996105)
(4,248586)
(4,350509)
(4,554433)
(4,960889)
(4,1373341)
(4,1390256)
(4,1677394)
(4,2487981)
(4,2977392)
(4,3829173)
(4,4356992)
(4,4481629)
(4,5251979)
(4,5289192)
(4,5864365)
(4,5951328)
(4,6058531)
(4,6112693)
(4,6210962)
(4,6681627)
(4,6990964)
(4,6996509)
(4,7518398)
(4,7865168)
(4,8935954)
(4,8967439)
(4,9090003)
(4,9296667)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,我会给你解答关于Spark RDD实现二次排序的问题。 首先,对于二次排序(Secondary Sort),我们需要根据两个维度来对数据进行排序,比如要按照学生的学号(第一维)和成绩(第二维)进行排序。在Spark中,可以使用sortByKey函数对数据进行排序,但默认只能按照一个维度排序。 为了实现二次排序,我们需要借助Scala的Tuple(元组)类型,将学生的学号和成绩组成一个二元组,作为RDD中的元素。然后,我们可以通过对元组进行比较,实现二次排序的效果。 下面是一个Scala实现二次排序的示例代码: ```scala // 生成包含二元组的RDD val data = sc.parallelize(Seq( (1, 85), (2, 92), (3, 76), (1, 90), (2, 88), (3, 80) )) // 按照第一维升序、第二维降序排序 val sortedData = data .sortByKey() // 按照第一维升序排序 .map(_.swap) // 交换元组的顺序,变成(成绩, 学号) .sortByKey(false) // 按照第二维降序排序 .map(_.swap) // 再次交换元组的顺序,变成(学号, 成绩) // 输出排序结果 sortedData.foreach(println) ``` 在以上示例代码中,我们首先生成一个包含二元组的RDD,其中第一维为学号,第二维为成绩。然后,我们先按照第一维升序排序,再交换元组的顺序,变成(成绩, 学号),再按照第二维降序排序,最后再次交换元组的顺序,得到最终的排序结果。 这就是Spark RDD实现二次排序的基本方法,希望能对你有所帮助。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值