1. HDFS的组成部分及各部分职责？Client： 调用HDFS API操作文件；与NN交互，进行文件元数据的操作，获取文件元数据；与DN交互，数据读写。NN： 唯一管理者，管理元数据（保存和管理文件系统的命名空间，包括目录树、文件和目录的元数据（数据以fsimage和editlog两个文件形式存放在本地磁盘）&&保存和构造文件与数据块所占DN的对应关系）；与Client交互，文件操
2017-04-21 10:08:48
658
YARN基本组成结构YARN通信协议YARN工作流程YARN分布式缓存
2017-04-06 09:55:29
583
读书笔记之《crazy java》8
2017-02-14 00:21:13
301
读书笔记之《crazy java》7
2017-02-13 09:34:49
455
读书笔记之《crazy java》6
2017-02-11 18:37:42
308
读书笔记之《crazy java》5
2017-02-11 09:31:27
270
读书笔记之《crazy java》4
2017-02-10 10:53:57
243
读书笔记之《crazy java》3
2017-02-04 18:28:27
277
读书笔记之《crazy java》2
2017-02-02 17:02:12
253
读书笔记之《crazy java》1
2017-02-02 10:16:14
272
利用java script获取两个日期区间内数组的方法
2016-05-03 15:34:38
1433
Spark性能调优，从spark的任务调度，shuffle的过程和调优的实际解决方案来进行阐述。
2016-05-01 09:14:37
602
问题：Postgres数据库是否可以存放数组形式的数据？
2016-04-27 11:09:43
6275
mapoutbuffer的源码理解
2016-04-26 11:33:24
429
MapOutputBuffer详细分析
2016-04-07 09:46:29
1175
随手记点mapreduce-reduce和merge过程分析
2016-03-29 17:10:09
336
随手记点maprereduce, reduce基本框架概述。
2016-03-23 00:21:52
340
随手记点mapreduce，map阶段的总体概况。
2016-03-22 11:56:20
297
随手记点mapreduce，map阶段中shuffle过程的分析。
2016-03-16 23:20:34
318
随手记点mapreduce，mapper过程的详细分析。
2016-03-13 12:10:49
360
随手记点mapreduce，总体介绍mapreduce的基本框架。
2016-03-11 17:20:10
404
Spark Shuffle虽然采取了和MapReduce完全不一样的机制，但深层的原理还是有相同的地方的。本章讲解Spark Shuffle的基本处理机制。
2016-03-11 11:01:24
1261
从map和reduce两个方面讲解shuffle的性能调优过程。
2016-03-09 22:45:14
3701
MapReduce中的Shuffle过程是洗牌的逆过程，是将无规律的数据进行一定的规律化。Shuffle过程横跨了MapRdeduce的Map端和Reduce端两个过程，描述的是数据从Map输出到Reduce输入的中间变化过程。
2016-03-09 22:36:31
1129
解决wordcount在程序运作期间可能会出现的各类问题
2016-02-21 12:00:56
476
RSS订阅