- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Apache Spark 2.2.0 中文文档 - Spark RDD（Resilient Distributed Datasets）
Spark RDD（Resilient Distributed Datasets）论文概要1: 介绍2: Resilient Distributed Datasets（RDDs）2.1 RDD 抽象2.2 Spark 编程接口2.2.1 例子 – 监控日志数据挖掘2.3 RDD 模型的优势2.4 不适合用 RDDs 的应用3 Spark 编程接口3.1 Sp...
2018-08-19 12:48:48
237
转载 Spark使用Java读取mysql数据和保存数据到mysql
原文引自：http://blog.csdn.net/fengzhimohan/article/details/78471952项目应用需要利用Spark读取mysql数据进行数据分析，然后将分析结果保存到mysql中。 开发环境： java：1.8 IDEA spark：1.6.2一.读取mysql数据 1.创建一个mysql数据库 user_test表结构如下： cre...
2018-08-19 12:47:44
3293
转载 spark 应用场景2-身高统计
原文引自：http://blog.csdn.net/fengzhimohan/article/details/78564610a. 案例描述本案例假设我们需要对某个省的人口 (10万) 性别还有身高进行统计，需要计算出男女人数，男性中的最高和最低身高，以及女性中的最高和最低身高。本案例中用到的源文件有以下格式, 三列分别是 ID，性别，身高 (cm)，格式如下： b.人口数据的生成...
2018-08-19 12:45:27
1058
转载 spark 应用场景1-求年龄平均值
原文引自：http://blog.csdn.net/fengzhimohan/article/details/78535143 该案例中，我们将假设我们需要统计一个 10 万人口的所有人的平均年龄，当然如果您想测试 Spark 对于大数据的处理能力，您可以把人口数放的更大，比如 1 亿人口，当然这个取决于测试所用集群的存储容量。假设这些年龄信息都存储在一个文件里，并且该文件的格式如下，第一列...
2018-08-19 12:42:18
1592
转载 Spark Java API(二)
sparkJavaApi逐个详解说明：掌握spark的一个关键，就是要深刻理解掌握RDD各个函数的使用场景，这样我们在写业务逻辑的时候就知道在什么时候用什么样的函数去实现，得心应手，本文将逐步收集整理各种函数原理及示例代码，持续更新，方便大家学习掌握。函数列表： 1、join的使用2、cogroup的使用3、GroupByKey的使用4、map的使用5、flatmap的使用...
2018-08-19 12:39:54
328
转载 Spark Java API(一)
原文引自：http://blog.csdn.net/u011497897/article/details/71440323一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapReduce，Spark能充分利用内存资源提高计算效率。 2、Spark计算框...
2018-08-19 12:35:30
2199
原创 关于spark运行FP-growth算法报错
package SparkJavaCluster; /** * @Author: zhuchangmin * @Date: 2018/8/15 10:50 * @Version 1.0 * @FileName: SparkJavaCluster.FPDemo_Cluster2.java * @Software: IntelliJ IDEA */import org.apache...
2018-08-17 16:01:47
856
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人