dh026661-CSDN博客

转载 YARN框架原理及运行机制

　　YARN是Hadoop2.0中的资源管理系统，它的设计思想是将MRv1中的JobTracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序持有的ApplicationMaster。其中RM负责整个系统的资源管理和分配，AM负责单个应用程序的管理。一、YARN基本组成结构　　YARN总体上仍然是Master/Slaver结构，在整...

2018-10-22 14:18:00 334

转载 HDFS的架构及原理

　　HDFS(Hadoop Distributed File System)是Hadoop核心组成之一，是分布式计算中数据存储管理的基础，被设计成适合运行在通用硬件上的分布式文件系统。HDFS架构中有两类节点，一类是NameNode，又叫“元数据节点”，另一类是DataNode，又叫“数据节点”，分别执行Master和Worker的具体任务。HDFS是一个(Master/Slave)体系...

2018-10-22 11:44:00 280

转载 MapReduce的架构及原理

MapReduce是一种分布式计算模型，是Hadoop的主要组成之一，承担大批量数据的计算功能。MapReduce分为两个阶段：Map和Reduce。一、MapReduce的架构演变客户端向JobTracker提交一个作业，JobTracker会把这个作业拆分成多份，然后分配给TaskTracker(任务执行者)执行，TaskTracker会每隔一段时间向JobTracker...

2018-05-11 08:48:00 339

转载浅谈大数据整体架构及必备能力

　　大数据时代不可抗拒，应该是毋庸置疑的，但对于绝大多数企业来说，大数据本身仅是一个空泛的概念，不仅难以参与更难于控制。几乎任何规模企业，每时每刻都在产生大量的数据，但这些数据如何归集、提炼始终是一个困扰，这种感觉好像是守着金山却无从下手。大数据技术的意义不在于掌握庞大的数据信息，而在于对这些数据进行智能处理，从中分析和挖掘出有价值的信息，实现数据价值的转换。移动互联的发展催生了更为多样...

2018-05-10 16:31:00 262

转载 Hadoop生态圈初识

一、简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。二、HDFS Hadoop Distributed File System，简称HDFS，是个分布式文件系统，是hadoop的一个核心部分。HDFS有这高容错性(f...

2018-05-10 16:08:00 139

转载基于ThreadPoolExecutor，自定义线程池简单实现

一、线程池作用　　在上一篇随笔中有提到多线程具有同一时刻处理多个任务的特点，即并行工作，因此多线程的用途非常广泛，特别在性能优化上显得尤为重要。然而，多线程处理消耗的时间包括创建线程时间T1、工作时间T2、销毁线程时间T3，创建和销毁线程需要消耗一定的时间和资源，如果能够减少这部分的时间消耗，性能将会进一步提高，线程池就能够很好解决问题。线程池在初始化时会创建一定数量的线程，当需要线...

2014-07-24 16:29:00 175

转载多线程及线程池学习心得

一、线程的应用与特点　　　　多线程是程序员不可或缺的技术能力，多线程技术在各个方面都有应用，特别在性能优化上更是起到至关重要的作用。但是，如果多线程写得不好，往往会适得其反，特别是高并发时会造成阻塞、超时等现象。多线程具有以下特点：1、独立性，拥有自己独立的资源，拥有自己私有的地址空间；2、动态性，进程具有自己的生命周期和各种不同的状态；3、并发性，多个进程可以在单个处理器上并发执行...

2014-07-22 17:51:00 135

转载数据结构与算法分析之简单排序算法

在排序算法中，简单排序主要有三种，分别为冒泡排序、选择排序、插入排序，学习理解好这三种排序算法有助于进一步研究数据结构与算法分析。下面，简单地谈一谈冒泡排序、选择排序、插入排序的原理及区别。冒泡排序原理： 1、比较相邻的元素。如果前一个比后一个大，它们就交换。 2、每对元素都要进行同样的动作，从后往前比较。 3、每趟都会确定一个位置的元素，因此n个元素，需要n-1趟...

2014-07-18 17:39:00 90

转载 java运行机制、Jdk版本及Java环境变量

一、语言特性　　计算机高级语言按程序的执行方式可分为：编译型和解释型两种。编译型的语言是指使用专门的编译器，针对特定的平台(操作系统)一次性翻译成被该平台硬件执行的机器码，并包装成该平台可执行性程序文件(.exe，.sh，.bat等)，编译型的语言有C、C++等；解释型的语言是指使用专门的解释器对源程序逐行解释成特定平台的机器码并立即执行，可以认为每次执行解释型语言的程序都要进行一次...

2014-07-18 11:20:00 100

dh026661的博客