- 博客(2)
- 资源 (4)
- 收藏
- 关注
原创 Java Spark Rdd详解
说明:掌握spark的一个关键,就是要深刻理解掌握RDD各个函数的使用场景,这样我们在写业务逻辑的时候就知道在什么时候用什么样的函数去实现,得心应手,本文将逐步收集整理各种函数原理及示例代码,持续更新,方便大家学习掌握。函数列表:1、join的使用2、cogroup的使用3、GroupByKey的使用4、map的使用5、flatmap的使用6、mapPartitions的使用7...
2020-03-28 18:17:50 2906 3
转载 Spark + MongoDB数据解决方案架构
Spark介绍按照官方的定义,Spark 是一个通用,快速,适用于大规模数据的处理引擎。通用性:我们可以使用Spark SQL来执行常规分析, Spark Streaming 来流数据处理, 以及用Mlib来执行机器学习等。Java,python,scala及R语言的支持也是其通用性的表现之一。 快速: 这个可能是Spark成功的最初原因之一,主要归功于其基于内存的运算方式。当需要处理的...
2020-03-28 13:18:59 738
学生宿舍管理系统的设计与实现文档
2016-03-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人