- 博客(9)
- 收藏
- 关注
RSS订阅原创 HDFS-基本面貌七问答
1、HDFS是怎么存储副本的？首先，NameNode通过Hadoop Rack Awareness进程来决定每个DataNode所属的机架ID（rack id）。存储策略（1）副本因子为3：如果writer就在DataNode上，则第一个副本放在本机上，如果writer不在其中一个DataNode上，则随机选择一个DataNode存放第一个副本。第二个副本放在和第一个副本不同的机架上的一个...
2019-08-29 21:27:14
98
原创 Spark SQL加载kafka数据并将查询结果写出到kafka的执行过程
说明：本文意在对源码进行分析，说明Spark SQL加载kafka数据并将查询结果写出到kafka的过程，如果错误，欢迎指出，大家共同进步 ^ _ ^。一、加载kafka数据的代码样例// 这段代码加载kafka数据源，指定了数据源格式，topic、bootstrap server、offset信息等Dataset<Row> dataset = this.sparkSession...
2019-08-28 17:47:42
4469
原创 JVM synchronized 详细探究
首先，同步在JVM中是通过monitor进入和monitor退出来实现的。1、synchronized 方法 对于synchronized方法，同步作为方法调用和返回的一部分被隐式执行，并不是使用monitorenter和monitorexit来实现方法同步。而是通过运行时常量池中方法对应的ACC_SYNCHRONIZED标志来实现同步。1.1 synchronized 方法怎么被识别？...
2019-08-15 16:47:04
188
原创 如何深入理解归并排序
归并排序是计算机鼻祖冯·诺依曼提出的一种排序算法原理：利用分而治之的思想拆分要排序的数组特点：稳定（排序结果不改变原有相等的元素的顺序），对于大部分字段已经有序的情况能带来比较好的效率...
2019-08-13 15:47:50
336
原创 DAGScheduler任务调度剖析
一、主要功能对每个job划分stage决定任务运行的首选位置（preferred locations）面向stage进行任务调度跟踪stage的输出需要时重新提交stage二、主要功能的展开描述1、怎么划分stage?先看这个数据结构，stage划分之后保存在一个HashMap中，stageId作为key，Stage对象作为valueprivate[scheduler] va...
2019-08-08 22:23:09
455
原创 静态内部类、双重检查两种单例模式的详细探究
为什么用静态内部类来实现单例模式高效？<pre name="code" class="java">public class Singleton {private Singleton(){}private static class SingletonHandler{ private final static Singleton singleton = new Singleto...
2019-08-06 23:46:29
536
原创 yarn 集群资源管理中碰到的一些问题
根据碰到的几个问题进行描述1、设置了队列可以使用最大集群资源，但是当用户占用该队列已配置的资源大小时，其他任务再提交的时候一直处于ACCEPTED状态。查看以下两个参数：yarn.scheduler.capacity..capacity 表示该队列可使用的资源容量大小百分比注：所有队列配置的资源百分比相加一定等于100yarn.scheduler.capacity..maximum-ca...
2019-08-05 22:56:00
5972
原创 yarn application常用命令及显示示例
yarn application1、-list 列出所有 application 信息示例：yarn application -list2、-appStates 跟 -list 一起使用，用来筛选不同状态的 application，多个用",“分隔；所有状态：ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINIS...
2019-08-02 09:44:24
11640
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人