spark入门
qq_38994739
这个作者很懒,什么都没留下…
展开
-
spark-RDD
transformation *map(func) *flatmap(func) *union() *groupByKey() *reduceByKey() *sortByKey() *join() *filter(func) action *count() *reduce(func) *原创 2017-09-18 22:32:38 · 309 阅读 · 0 评论 -
SSH 无密码登录 伪分布式
cd ~/.ssh/ ssh-keygen -t rsa ssh-copy-id hostname原创 2017-09-18 23:47:47 · 379 阅读 · 0 评论 -
sparkCore wordCount小应用
需求:按照value值降序 wordcount.map(x=>(x._2,x._1)).sortByKey(false ).map(x=>(x._2,x._1)).collect()需求:Top Key wordcount.map(x=>(x._2,x._1)).sortByKey(false ).map(x=>(x._2,x._1)).take(3)需求:Group Top K原创 2017-09-19 10:31:38 · 447 阅读 · 0 评论