hongqiang001-CSDN博客

转载 Mapreduce容错机制

Failures在现实世界中，难免遇到用户代码错误、进程崩溃、机器宕机等情况。使用Hadoop的一个好处是它有能力处理这些失败，使你的job能够成功完成。我们需要考虑以下实体的失败：task、application master、node manager 、resource manager。Task Failure考虑第一种情况task失败。最常见的task 失败是在map或reduc...

2019-03-31 10:47:54 895

转载 (转)Java 详解 JVM 工作原理和流程

作为一名Java使用者，掌握JVM的体系结构也是必须的。说起Java，人们首先想到的是Java编程语言，然而事实上，Java是一种技术，它由四方面组成：Java编程语言、Java类文件格式、Java虚拟机和Java应用程序接口(Java API)。它们的关系如下图所示：运行期环境代表着Java平台，开发人员编写Java代码(.java文件)，然后将之编译成字节码(.class文件)，再然...

2018-09-03 21:57:11 77

转载 HDFS使用Backup Node、Checkpoint Node以及Standby Namenode进行checkpoint的机制

前言checkpoint，就是将某一个时间点的内存镜像，完整地存放到磁盘的过程，比如，我们在StandBy NameNode上可以看到这样的image文件：fsimage_0000000000992806947fsimage_0000000000992806947.md51 2fsimage_0000000000992806947说明这个文件存放了txId为992806947和...

2018-07-26 12:36:20 342

一、hadoop四大模块1、common common 及核心公共模块，默认配置（core-site.xml）,主要包括Hadoop常用的工具类，由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提...

2018-06-16 15:30:02 354 1

原创 hadoop 学习笔记之3-hdfs读写流程

一、hdfs读文件流程 1）、hdfs client调用FileSystem.open(),DistributedFileSystem通过RPC与Namenode通信，NN返回该文件的部分或全部block列表，选取离客户端最优位置DataNode；2）、FSDataInputStream，读取block信息，当读到block结尾的时候，FSDataInputStream关闭与NN的连接，继续...

2018-06-12 22:25:12 245

转载 JVM原理讲解和调优

一、什么是JVM JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。 Java语言的一个非常重要的特点就是与平台的无关性。而使用Java虚拟机是实现这一特点的关键。一般的高级语言如果要在不同的平台上运行，至少需要编译成不同的目标代码。而引入Java语言...

2018-05-25 22:07:42 86

原创 java 架构师课程体系

https://www.cnblogs.com/abde/p/7122712.html

2018-05-20 17:35:46 756

转载 Spark Scheduler模块源码分析之DAGScheduler

本文主要结合Spark-1.6.0的源码，对Spark中任务调度模块的执行过程进行分析。Spark Application在遇到Action操作时才会真正的提交任务并进行计算。这时Spark会根据Action操作之前一系列Transform操作的关联关系，生成一个DAG，在后续的操作中，对DAG进行Stage划分，生成Task并最终运行。整个过程如下图所示，DAGScheduler用于对Appli...

2018-05-19 17:07:58 167

转载 hazelcast的常见问题

简介开源中国的简介：Hazelcast是一个高度可扩展的数据分发和集群平台。特性包括：提供java.util.{Queue, Set, List, Map}分布式实现。提供java.util.concurrency.locks.Lock分布式实现。提供java.util.concurrent.ExecutorService分布式实现。提供用于一对多关系的分布式Mul

2017-06-16 18:16:20 3962