weixin_46031805的博客

提示：阅读本文需要部分java,scala,spark,sql的基础。文章目录前言一、什么是join操作?二、有那些常见的join的类型？三、使用SQL实现左外连接：1.数据准备2.实现案例四、使用MapReduce实现左外连接：1.数据准备:2.案例及设计思路：3.运行代码：4.运行结果：总结前言概要：本博客截取2020年数学建模国赛C题提供的部分数据作为数据源，联系现实中的需要用到join操作的场景，分别使用sql，mapreduce，spark RDD，spark DataFrame，以及sp

MapReduce实现TopN算法，以获取一条轨迹的前N个速度最快的点为例文章目的理解TopN算法的思路[^1]：文章目的本博客通过使用MapReduce程序实现对一条轨迹提取前N个速度最快的点，以使读者增加对MapReduce编程模型的理解，包括如何规划MapReduce程序的setup()函数、cleanup()函数，以及编写map()函数和ruduce()函数的设计思路。理解TopN算法的思路1：TopN是一种现实生活环境中很常见的问题，其通常描述为“寻找出所有数据集中，最大/小/优的前N项记