Spark相关
且_听_风_吟
2018年至今java后端,spring boot 、cloud项目设计管理,微服务开发模式下的高并发和分布式整体架构研究。
2015-2017年主要做传统java web ssh服务,传统的集群、分布式架构设计。
了解前端、安卓开发;
展开
-
Spark的join与cogroup简单示例
1.join join就是把两个集合根据key,进行内容聚合; 元组集合A:(1,"Spark"),(2,"Tachyon"),("3","Hadoop") 元组集合B:(1,100),(2,95),(3,65) A join B的结果:(1,("Spark",100)),(3,("原创 2016-04-08 17:19:47 · 5027 阅读 · 0 评论 -
Spark Scala TopN分组排序
注意: groupBy和groupByKey是不同的,比如(A,1),(A,2);使用groupBy之后结果是(A,((A,1),(A,2))); 使用groupByKey之后结果是:(A,(1,2));关键区别就是合并之后是否会自动去掉key信息; 示例: 输入: Spark 95 Hadoop 68 Flink 55 Spark 95 Hadoop 98 Flink 85 Kafka原创 2016-04-28 11:48:10 · 9882 阅读 · 0 评论