/**
* 统计没有农产品市场的省份有哪些
*/
//有农产品市场的省份
val productRDD=sc.textFile("file:///home/tg/datas/product.txt")
//全国所有的省份
val provsRDD=sc.textFile("file:///home/tg/datas/allprovince.txt")
val haveMacket=productRDD.map(m=>m.split("\t"))
.filter(m=>m.length==6 && m(4)!=null)
.map(m=>{
val province=m(4).trim
(province,province)
}).distinct() //对省份进行去重
val allProvs=provsRDD.map(m=>(m,m))
val result=allProvs.leftOuterJoin(haveMacket)
println("没有农产品市场的省份有:")
result.foreach(item=>{
if(item._2._2==None) //itme._2._2是一个Option
println(item._1)
})
* 统计没有农产品市场的省份有哪些
*/
//有农产品市场的省份
val productRDD=sc.textFile("file:///home/tg/datas/product.txt")
//全国所有的省份
val provsRDD=sc.textFile("file:///home/tg/datas/allprovince.txt")
val haveMacket=productRDD.map(m=>m.split("\t"))
.filter(m=>m.length==6 && m(4)!=null)
.map(m=>{
val province=m(4).trim
(province,province)
}).distinct() //对省份进行去重
val allProvs=provsRDD.map(m=>(m,m))
val result=allProvs.leftOuterJoin(haveMacket)
println("没有农产品市场的省份有:")
result.foreach(item=>{
if(item._2._2==None) //itme._2._2是一个Option
println(item._1)
})