- 博客(6)
- 收藏
- 关注
RSS订阅原创 学习Spark的第一天
MapReduce：一次性数据计算框架在处理数据时，从存储设备中读取数据，进行逻辑处理，最后将结果存储到介质中。在迭代过程中，需要频繁的I/O操作。（早期mapreduce）Spark：基于内存迭代过程中，中间结果放置在内存当中大大加快了计算速度。若部署在共享存储的设备中，会遇到资源不足问题。Sparkhttps://www.cnblogs.com/cxxjohnson/p/8909578.htmlSpark核心模块Apache Spark Core提供spark最基础最核心的功能，Spa
2022-04-15 16:01:38
1508
原创 Spark RDD 初学
MapReduce：一次性数据计算框架在处理数据时，从存储设备中读取数据，进行逻辑处理，最后将结果存储到介质中。在迭代过程中，需要频繁的I/O操作。（早期mapreduce）Spark：基于内存迭代过程中，中间结果放置在内存当中大大加快了计算速度。若部署在共享存储的设备中，会遇到资源不足问题。Sparkhttps://www.cnblogs.com/cxxjohnson/p/8909578.htmlSpark核心模块Apache Spark Core提供spark最基础最核心的功能，Spa
2022-03-11 15:54:12
1490
原创 Java创建线程的三种方式
需要自己导入commons io jar包，直接从官网下载即可。1.通过继承Thread类创建线程，需要重写run()方法，通过start()开启线程package com.MyThread;import org.apache.commons.io.FileUtils;import java.io.File;import java.io.IOException;import java.net.URL;/** * @Author: Mengqingnan * @Descriiption:
2022-03-11 15:52:57
3817
原创 最小生成树-克鲁斯卡尔算法(Kruskal算法)
问题出发点：对于任意一个连通网的最小生成树来说，在要求总的权值最小的情况下，最直接的想法就是将连通网中的所有边按照权值大小进行升序排序，从小到大依次选择。条件控制1.任意定点之间只有一条通路，不能产生环2.对于n个顶点的生成树只有n-1条通路即可具体思路1.先将边按照边的权值排序2.从小到大依次判断边,若加入该边不形成环,则将该边加入其中,反之,继续扫描下一条边3.判断结束条件:...
2019-12-26 11:04:17
600
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人