Spark相关
且_听_风_吟
2018年至今java后端,spring boot 、cloud项目设计管理,微服务开发模式下的高并发和分布式整体架构研究。
2015-2017年主要做传统java web ssh服务,传统的集群、分布式架构设计。
了解前端、安卓开发;
展开
-
Spark的join与cogroup简单示例
1.join join就是把两个集合根据key,进行内容聚合; 元组集合A:(1,"Spark"),(2,"Tachyon"),("3","Hadoop") 元组集合B:(1,100),(2,95),(3,65) A join B的结果:(1,("Spark",100)),(3,("原创 2016-04-08 17:19:47 · 5028 阅读 · 0 评论 -
Spark Scala TopN分组排序
注意:groupBy和groupByKey是不同的,比如(A,1),(A,2);使用groupBy之后结果是(A,((A,1),(A,2)));使用groupByKey之后结果是:(A,(1,2));关键区别就是合并之后是否会自动去掉key信息;示例:输入:Spark 95Hadoop 68Flink 55Spark 95Hadoop 98Flink 85Kafka原创 2016-04-28 11:48:10 · 9882 阅读 · 0 评论