- 博客(11)
- 资源 (2)
- 收藏
- 关注
原创 Spark2.2 Driver和Executor状态改变处理机制源码分析
Driver状态发生改变处理机制 DriverStateChanged( ) Executor状态发生改变处理机制 ExecutorStateChanged( )
2017-10-23 22:04:04 626
原创 Spark2.2 Worker、Driver和Executor向Master注册原理剖析图解及源码
Master注册原理剖析图解Application向Master注册源码剖析
2017-10-23 20:44:39 426
原创 Spark2.2 宽窄依赖剖析图解
宽窄依赖图解会引起Shuffle的操作:1. 具有重新调整分区的操作:repartition、coalesce2.*ByKey:groupByKey、reduceByKey3.关联操作:join、cogroup
2017-10-19 14:53:24 555
原创 Spark Java 二次排序
自定义比较器import scala.math.Ordered;import java.io.Serializable;
2017-10-19 09:21:39 618
原创 Spark Scala 二次排序
* 比较器: * 1. 继承 Ordered[T] 和Serializeable 方法 * 2. 重写 compare 方法 * 3. 需要传入参数
2017-10-19 09:02:31 543
原创 Spark Java 分组排序取TopN
1.输入c1 85c2 77c3 88c1 22c1 66c3 95c3 54c2 91c2 66c1 54c1 65c2 41c4 652.代码实现import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.
2017-10-18 21:33:59 1612
原创 递归删除某个目录及目录下的所有子目录和文件
import java.io.File;/** * User:leen * Date:2017/10/17 0017 * Time:9:51 */public class Utils { /** * 递归删除目录中的子目录下 * * @param dir */ public static void deleteDir(File
2017-10-17 11:20:31 2157
2022年最新手机号段/手机号码归属地数据-494273条
2022-09-16
hadoop-lzo-0.4.13.jar
2017-12-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人