makuiyu-CSDN博客

原创 LeetCode --- 110. Balanced Binary Tree

题目链接：Balanced Binary TreeGiven a binary tree, determine if it is height-balanced.For this problem, a height-balanced binary tree is defined as a binary tree in which the depth of the two subtrees

2015-04-23 10:19:17 992

原创 LeetCode --- 109. Convert Sorted List to Binary Search Tree

题目链接：Convert Sorted List to Binary Search TreeGiven a singly linked list where elements are sorted in ascending order, convert it to a height balanced BST.这道题的要求是将有序链表转化成高度平衡的二叉搜索树（BST）。1. 利

2015-04-17 16:48:22 2103

原创 LeetCode --- 108. Convert Sorted Array to Binary Search Tree

题目链接：Convert Sorted Array to Binary Search TreeGiven an array where elements are sorted in ascending order, convert it to a height balanced BST.这道题的要求是将有序数组转化成高度平衡的二叉搜索树（BST）。由于数组有序，因此相当于二叉搜索树

2015-04-17 16:47:29 963

原创 LeetCode --- 107. Binary Tree Level Order Traversal II

题目链接：Binary Tree Level Order Traversal IIGiven a binary tree, return the bottom-up level order traversal of its nodes' values. (ie, from left to right, level by level from leaf to root).For exam

2015-04-17 16:46:33 2706

原创 LeetCode --- 106. Construct Binary Tree from Inorder and Postorder Traversal

题目链接：Construct Binary Tree from Inorder and Postorder TraversalGiven inorder and postorder traversal of a tree, construct the binary tree.Note:You may assume that duplicates do not exist in th

2015-04-17 16:44:25 765

原创 LeetCode --- 105. Construct Binary Tree from Preorder and Inorder Traversal

题目链接：Construct Binary Tree from Preorder and Inorder TraversalGiven preorder and inorder traversal of a tree, construct the binary tree.Note:You may assume that duplicates do not exist in the

2015-04-16 09:13:20 838

原创 LeetCode --- 104. Maximum Depth of Binary Tree

题目链接：Maximum Depth of Binary TreeGiven a binary tree, find its maximum depth.The maximum depth is the number of nodes along the longest path from the root node down to the farthest leaf node.这道题

2015-04-16 09:12:17 1072

原创 LeetCode --- 103. Binary Tree Zigzag Level Order Traversal

题目链接：Binary Tree Zigzag Level Order TraversalGiven a binary tree, return the zigzag level order traversal of its nodes' values. (ie, from left to right, then right to left for the next level and a

2015-04-16 09:11:31 965

原创 LeetCode --- 102. Binary Tree Level Order Traversal

题目链接：Binary Tree Level Order TraversalGiven a binary tree, return the level order traversal of its nodes' values. (ie, from left to right, level by level).For example:Given binary tree {3,9,20,#

2015-04-16 08:57:30 917

原创 LeetCode --- 101. Symmetric Tree

题目链接：Symmetric TreeGiven a binary tree, check whether it is a mirror of itself (ie, symmetric around its center).For example, this binary tree is symmetric: 1 / \ 2 2 / \ / \ 3

2015-04-16 08:55:14 889

原创 LeetCode --- 100. Same Tree

题目链接：Same TreeGiven two binary trees, write a function to check if they are equal or not.Two binary trees are considered equal if they are structurally identical and the nodes have the same value.

2015-04-14 19:54:07 922

原创 LeetCode --- 99. Recover Binary Search Tree

题目链接：Recover Binary Search TreeTwo elements of a binary search tree (BST) are swapped by mistake.Recover the tree without changing its structure.Note:A solution using O(n) space is pretty stra

2015-04-14 19:52:24 758

原创 LeetCode --- 98. Validate Binary Search Tree

题目链接：Validate Binary Search TreeGiven a binary tree, determine if it is a valid binary search tree (BST).Assume a BST is defined as follows:The left subtree of a node contains only nodes with

2015-04-14 19:51:33 803

原创 LeetCode --- 97. Interleaving String

题目链接：Interleaving StringGiven s1, s2, s3, find whether s3 is formed by the interleaving of s1 and s2.For example,Given:s1 = "aabcc",s2 = "dbbca",When s3 = "aadbbcbcac", return true.When

2015-04-14 19:50:56 851

原创 LeetCode --- 96. Unique Binary Search Trees

题目链接：Unique Binary Search TreesGiven n, how many structurally unique BST's (binary search trees) that store values 1...n?For example,Given n = 3, there are a total of 5 unique BST's. 1

2015-04-14 19:49:55 835

原创 LeetCode --- 95. Unique Binary Search Trees II

题目链接：Unique Binary Search Trees IIGiven n, generate all structurally unique BST's (binary search trees) that store values 1...n.For example,Given n = 3, your program should return all 5 unique B

2015-04-09 10:53:49 1008

原创 LeetCode --- 94. Binary Tree Inorder Traversal

题目链接：Binary Tree Inorder TraversalGiven a binary tree, return the inorder traversal of its nodes' values.For example:Given binary tree {1,#,2,3}, 1 \ 2 / 3 return

2015-04-09 10:52:13 749

原创 LeetCode --- 93. Restore IP Addresses

题目链接：Restore IP AddressesGiven a string containing only digits, restore it by returning all possible valid IP address combinations.For example:Given "25525511135",return ["255.255.11.135", "25

2015-04-09 10:51:20 1309

原创 LeetCode --- 92. Reverse Linked List II

题目链接：Reverse Linked List IIReverse a linked list from position m to n. Do it in-place and in one-pass.For example:Given 1->2->3->4->5->NULL, m = 2 and n = 4,return 1->4->3->2->5->NULL.Note:

2015-04-09 10:50:21 634

原创 LeetCode --- 91. Decode Ways

题目链接：Decode WaysA message containing letters from A-Z is being encoded to numbers using the following mapping:'A' -> 1 'B' -> 2 ... 'Z' -> 26 Given an encoded message containing digits,

2015-04-09 10:49:48 647

原创 LeetCode --- 90. Subsets II

题目链接：Subsets IIGiven a collection of integers that might contain duplicates, S, return all possible subsets.Note:Elements in a subset must be in non-descending order.The solution set must not

2015-04-07 21:57:42 662

原创 LeetCode --- 89. Gray Code

题目链接：Gray CodeThe gray code is a binary numeral system where two successive values differ in only one bit.Given a non-negative integer n representing the total number of bits in the code, print th

2015-04-07 21:55:12 3454

原创 LeetCode --- 88. Merge Sorted Array

题目链接：Merge Sorted ArrayGiven two sorted integer arrays A and B, merge B into A as one sorted array.Note:You may assume that A has enough space (size that is greater or equal to m + n) to hold ad

2015-04-07 21:53:14 620

原创 LeetCode --- 87. Scramble String

题目链接：Scramble StringGiven a string s1, we may represent it as a binary tree by partitioning it to two non-empty substrings recursively.Below is one possible representation of s1 = "great":

2015-04-07 21:52:53 2386

原创 LeetCode --- 86. Partition List

题目链接：Partition ListGiven a linked list and a value x, partition it such that all nodes less than x come before nodes greater than or equal to x.You should preserve the original relative order of t

2015-04-07 21:50:51 635

原创 LeetCode --- 85. Maximal Rectangle

题目链接：Maximal RectangleGiven a 2D binary matrix filled with 0's and 1's, find the largest rectangle containing all ones and return its area.这道题的要求是在0-1矩阵中找出面积最大的全1矩阵。1. 基于Largest Rectangle in H

2015-04-03 17:09:12 3381

原创 LeetCode --- 84. Largest Rectangle in Histogram

题目链接：Largest Rectangle in HistogramGiven n non-negative integers representing the histogram's bar height where the width of each bar is 1, find the area of largest rectangle in the histogram.

2015-04-03 17:07:41 3055

原创 LeetCode --- 83. Remove Duplicates from Sorted List

题目链接：Remove Duplicates from Sorted ListGiven a sorted linked list, delete all duplicates such that each element appear only once.For example,Given 1->1->2, return 1->2.Given 1->1->2->3->3, r

2015-04-03 17:06:50 1137

原创 LeetCode --- 82. Remove Duplicates from Sorted List II

题目链接：Remove Duplicates from Sorted List IIGiven a sorted linked list, delete all nodes that have duplicate numbers, leaving only distinct numbers from the original list.For example,Given 1->2-

2015-04-03 17:05:11 813

原创 LeetCode --- 81. Search in Rotated Sorted Array II

题目链接：Search in Rotated Sorted Array IIFollow up for "Search in Rotated Sorted Array":What if duplicates are allowed?Would this affect the run-time complexity? How and why?Write a function to

2015-04-03 17:03:46 1168

原创 LeetCode --- 80. Remove Duplicates from Sorted Array II

题目链接：Remove Duplicates from Sorted Array IIFollow up for "Remove Duplicates":What if duplicates are allowed at most twice?For example,Given sorted array A = [1,1,1,2,2,3],Your function sho

2015-03-23 21:29:16 1054

原创 LeetCode --- 79. Word Search

题目链接：Word SearchGiven a 2D board and a word, find if the word exists in the grid.The word can be constructed from letters of sequentially adjacent cell, where "adjacent" cells are those horizontal

2015-03-23 21:28:57 666

原创 LeetCode --- 78. Subsets

题目链接：SubsetsGiven a set of distinct integers, S, return all possible subsets.Note:Elements in a subset must be in non-descending order.The solution set must not contain duplicate subsets.For

2015-03-23 21:27:40 799

原创 LeetCode --- 77. Combinations

题目链接：CombinationsGiven two integers n and k, return all possible combinations of k numbers out of 1 ... n.For example,If n = 4 and k = 2, a solution is:[ [2,4], [3,4], [2,3], [1,

2015-03-23 21:26:44 758

原创 LeetCode --- 76. Minimum Window Substring

题目链接：Minimum Window SubstringGiven a string S and a string T, find the minimum window in S which will contain all the characters in T in complexity O(n).For example,S = "ADOBECODEBANC"T = "ABC

2015-03-23 21:26:09 2948

原创 LeetCode --- 75. Sort Colors

题目链接：Sort ColorsGiven an array with n objects colored red, white or blue, sort them so that objects of the same color are adjacent, with the colors in the order red, white and blue.Here, we will u

2015-03-20 21:52:04 823

原创 LeetCode --- 74. Search a 2D Matrix

题目链接：Search a 2D MatrixWrite an efficient algorithm that searches for a value in an m x n matrix. This matrix has the following properties:Integers in each row are sorted from left to right.The

2015-03-20 21:51:15 704

原创 LeetCode --- 73. Set Matrix Zeroes

题目链接：Set Matrix ZeroesGiven a m x n matrix, if an element is 0, set its entire row and column to 0. Do it in place.Follow up:Did you use extra space?A straight forward solution using O(mn) spa

2015-03-20 21:50:38 1955

原创 LeetCode --- 72. Edit Distance

题目链接：Edit DistanceGiven two words word1 and word2, find the minimum number of steps required to convert word1 to word2. (each operation is counted as 1 step.)You have the following 3 operations pe

2015-03-20 21:47:11 770

原创 LeetCode --- 71. Simplify Path

题目链接：Simplify PathGiven an absolute path for a file (Unix-style), simplify it.For example,path = "/home/", => "/home"path = "/a/./b/../../c/", => "/c"Corner Cases:Did you consider the ca

2015-03-20 21:46:14 6750

LeetCode book——CleanCodeHandbook_v1.0.1

2014-12-22

spark源码分析_20140521

Spark 源码分析出自他人：王联辉[email protected] 这里只是搬运工，1分造福大家。很不错的资源，大家可以查考！

2014-05-22

Codeblocks 12.11 汉化包，这是真正的12.11的汉化，网上现在所谓的12.11汉化包基本上都是10.05的汉化。这是真正的12.11的汉化。把解压后的locale文件夹考到codeblocks/share/codeblocks下，然后在codeblocks里找到settings->environment settings->view->Internationalization选择chinese

2013-12-21

2013中国大数据技术大会PPT——Big Data in Cloud

【大数据架构与系统】VMware主管工程师堵俊平分享了大数据5点趋势：Hadoop 2.0和YARN在大数据生态系统中扮演资源管理的核心角色；MR不够好，Tez，Spark可能是替代者；HDFS努力支持更多的业务场景；更多的基于Hadoop的SQL引擎，如Drill、 Impala、Stinger；企业级服务，安全、HA、QoS等。

2013-12-13

2013中国大数据技术大会PPT——中国移劢大数据应用实践

【智能交通与大数据技术峰会】中国移动研究院专家，中国移动通信研究院云计算系统部大数据产品开发室技术经理徐萌表示移动互联网用户流量激增，手机数据化、宽带化趋势明显，亟需深挖大数据价值。移动的大云实验室在BC-Hadoop上在做搭建开源站点和开源合作方面的工作。

2013-12-12

2013中国大数据技术大会PPT——腾讯大规模Hadoop集群实践

【大数据架构与系统】腾讯数据中心资深专家翟艳堂分享了腾讯建立大规模Hadoop集群的过程，首先要解决单点问题，将JobTracker分散化，做NameNode高可用。在业务选型方面，选择了成熟度更高的Facebook开源的Corona。

2013-12-12

2013中国大数据技术大会PPT——阿里搜索流计算技术

【大数据技术】阿里搜索事业部高级技术专家王峰介绍了一淘全网商品搜索系统架构、全网商品离线处理流程。本次大会是一淘第一次从基本概念、拓扑结构、消息管理、进度管理、编程接口等方面对外来介绍iSteam的计算模型。

2013-12-12

2013中国大数据技术大会PPT——阿里大数据应用平台

【大数据应用】阿里巴巴数据平台架构师刘昌钰，讲述了阿里大数据应用平台的业务流程：数据导入、数据开发、数据生产、数据回流、元数据中心、数据质量中心。阿里每天要处理的数据非常惊人，仅在日志中心，日采集40TB数据，峰值1GB/s。

2013-12-12

2013中国大数据技术大会PPT

2013-12-12

2013中国大数据技术大会PPT——360超大规模HBASE集群的改进

【大数据技术主题论坛】奇虎360技术经理赵健博介绍目前360搜索、安全、监控等业务都使用了HBase集群，同时重点介绍了奇虎360近一年来结合业务对HBase作出的改进，如针对集群大、Region多致使启动时间过长进行的优化，同时还分享了专属MetaServer、Scan、保护模式、索引加载等方面的调优。

2013-12-12

Hadoop技术内幕：深入解析YARN架构设计与实现原理.迷你书

Hadoop技术内幕：深入解析YARN架构设计与实现原理迷你书（资深Hadoop技术专家董西成撰写，ChinaHadoop和51CTO等联袂推荐！从应用角度系统讲解YARN的使用方法和技巧，从源码角度分析YARN的架构设计和实现原理）《Hadoop技术内幕：深入解析YARN架构设计与实现原理》是“Hadoop技术内幕”系列的第3本书，前面两本分别对Common、HDFS和MapReduce进行了深入分析和讲解，赢得了极好的口碑，Hadoop领域几乎人手一册，本书则对YARN展开了深入的探讨，是首部关于YARN的专著。仍然由资深Hadoop技术专家董西成执笔，根据最新的Hadoop 2.0版本撰写，权威社区ChinaHadoop鼎力推荐。　　《Hadoop技术内幕：深入解析YARN架构设计与实现原理》从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架（MapReduce、Tez、Storm、Spark），以及多个类YARN的开源资源管理系统（Corona和Mesos）；从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理，以及各种计算框架的实现细节。　　《Hadoop技术内幕：深入解析YARN架构设计与实现原理》共四部分13章：第一部分（第1~2章）主要介绍了如何获取、阅读和调试Hadoop的源代码，以及YARN的设计思想、基本架构和工作流程；第二部分（第3~7章）结合源代码详细剖析和讲解了YARN的第三方开源库、底层通信库、服务库、事件库的基本使用和实现细节，详细讲解了YARN的应用程序设计方法，深入讲解和分析了ResourceManager、资源调度器、NodeManager等组件的实现细节；第三篇（第8~10章）则对离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark进行了详细的讲解；第四部分（第11~13章）首先对Facebook Corona和Apache Mesos进行了深入讲解，然后对YARN的发展趋势进行了展望。附录部分收录了YARN安装指南、YARN配置参数以及Hadoop Shell命令等非常有用的资料。目录前　言第一部分　准备篇第1章　环境准备 1.1　准备学习环境 1.1.1　基础软件下载 1.1.2　如何准备Linux环境 1.2　获取Hadoop源代码 1.3　搭建Hadoop源代码阅读环境 1.3.1　创建Hadoop工程 1.3.2　Hadoop源代码阅读技巧 1.4　Hadoop源代码组织结构 1.5　Hadoop初体验 1.5.1　搭建Hadoop环境 1.5.2　Hadoop Shell介绍 1.6　编译及调试Hadoop源代码 1.6.1　编译Hadoop源代码 1.6.2　调试Hadoop源代码 1.7　小结第2章　YARN设计理念与基本架构 2.1　YARN产生背景 2.1.1　MRv1的局限性 2.1.2　轻量级弹性计算平台 2.2　Hadoop基础知识 2.2.1　术语解释 2.2.2　Hadoop版本变迁 2.3　YARN基本设计思想 2.3.1　基本框架对比 2.3.2　编程模型对比 2.4　YARN 基本架构 2.4.1　YARN基本组成结构 2.4.2　YARN通信协议 2.5　YARN工作流程 2.6　多角度理解YARN 2.6.1　并行编程 2.6.2　资源管理系统 2.6.3　云计算 2.7　本书涉及内容 2.8　小结第二部分　YARN核心设计篇第3章　YARN基础库 3.1　概述 3.2　第三方开源库 3.2.1　Protocol Buffers 3.2.2　Apache Avro 3.3　底层通信库 3.3.1　RPC通信模型 3.3.2　Hadoop RPC的特点概述 3.3.3　RPC总体架构 3.3.4　Hadoop RPC使用方法 3.3.5　Hadoop RPC类详解 3.3.6　Hadoop RPC参数调优 3.3.7　YARN RPC实现 3.3.8　YARN RPC应用实例 3.4　服务库与事件库 3.4.1　服务库 3.4.2　事件库 3.4.3　YARN服务库和事件库的使用方法 3.4.4　事件驱动带来的变化 3.5　状态机库 3.5.1　YARN状态转换方式 3.5.2　状态机类 3.5.3　状态机的使用方法 3.5.4　状态机可视化 3.6　源代码阅读引导 3.7　小结 3.8　问题讨论第4章　YARN应用程序设计方法 4.1　概述 4.2　客户端设计 4.2.1　客户端编写流程 4.2.2　客户端编程库 4.3　ApplicationMaster设计 4.3.1　ApplicationMaster编写流程 4.3.2　ApplicationMaster编程库 4.4　YARN 应用程序实例 4.4.1　DistributedShell 4.4.2　Unmanaged AM 4.5　源代码阅读引导 4.6　小结 4.7　问题讨论第5章　ResourceManager剖析 5.1　概述 5.1.1　ResourceManager基本职能 5.1.2　ResourceManager内部架构 5.1.3　ResourceManager事件与事件处理器 5.2　用户交互模块 5.2.1　ClientRMService 5.2.2　AdminService 5.3　ApplicationMaster管理 5.4　NodeManager管理 5.5　Application管理 5.6　状态机管理 5.6.1　RMApp状态机 5.6.2　RMAppAttempt状态机 5.6.3　RMContainer状态机 5.6.4　RMNode状态机 5.7　几个常见行为分析 5.7.1　启动ApplicationMaster 5.7.2　申请与分配Container 5.7.3　杀死Application 5.7.4　Container超时 5.7.5　ApplicationMaster超时 5.7.6　NodeManager超时 5.8　安全管理 5.8.1　术语介绍 5.8.2　Hadoop认证机制 5.8.3　Hadoop授权机制 5.9　容错机制 5.9.1　Hadoop HA基本框架 5.9.2　YARN HA实现 5.10　源代码阅读引导 5.11　小结 5.12　问题讨论第6章　资源调度器 6.1　资源调度器背景 6.2　HOD调度器 6.2.1　Torque资源管理器 6.2.2　HOD作业调度 6.3　YARN资源调度器的基本架构 6.3.1　基本架构 6.3.2　资源表示模型 6.3.3　资源调度模型 6.3.4　资源抢占模型 6.4　YARN层级队列管理机制 6.4.1　层级队列管理机制 6.4.2　队列命名规则 6.5　Capacity Scheduler 6.5.1　Capacity Scheduler的功能 6.5.2　Capacity Scheduler实现 6.6　Fair Scheduler 6.6.1　Fair Scheduler功能介绍 6.6.2　Fair Scheduler实现 6.6.3　Fair Scheduler与Capacity Scheduler对比 6.7　其他资源调度器介绍 6.8　源代码阅读引导 6.9　小结 6.10　问题讨论第7章　NodeManager剖析 7.1　概述 7.1.1　NodeManager基本职能 7.1.2　NodeManager内部架构 7.1.3　NodeManager事件与事件处理器 7.2　节点健康状况检测 7.2.1　自定义Shell脚本 7.2.2　检测磁盘损坏数目 7.3　分布式缓存机制 7.3.1　资源可见性与分类 7.3.2　分布式缓存实现 7.4　目录结构管理 7.4.1　数据目录管理 7.4.2　日志目录管理 7.5　状态机管理 7.5.1　Application状态机 7.5.2　Container状态机 7.5.3　LocalizedResource状态机 7.6　Container生命周期剖析 7.6.1　Container资源本地化 7.6.2　Container运行 7.6.3　Container资源清理 7.7　资源隔离 7.7.1　Cgroups介绍 7.7.2　内存资源隔离 7.7.3　CPU资源隔离 7.8　源代码阅读引导 7.9　小结 7.10　问题讨论第三部分　计算框架篇第8章　离线计算框架MapReduce 8.1　概述 8.1.1　基本构成 8.1.2　事件与事件处理器 8.2　MapReduce客户端 8.2.1　ApplicationClientProtocol协议 8.2.2　MRClientProtocol协议 8.3　MRAppMaster工作流程 8.4　MR作业生命周期及相关状态机 8.4.1　MR作业生命周期 8.4.2　Job状态机 8.4.3　Task状态机 8.4.4　TaskAttempt状态机 8.5　资源申请与再分配 8.5.1　资源申请 8.5.2　资源再分配 8.6　Container启动与释放 8.7　推测执行机制 8.7.1　算法介绍 8.7.2　推测执行相关类 8.8　作业恢复 8.9　数据处理引擎 8.10　历史作业管理器 8.11　MRv1与MRv2对比 8.11.1　MRv1 On YARN 8.11.2　MRv1与MRv2架构比较 8.11.3　MRv1与MRv2编程接口兼容性 8.12　源代码阅读引导 8.13　小结 8.14　问题讨论第9章　DAG计算框架Tez 9.1　背景 9.2　Tez数据处理引擎 9.2.1　Tez编程模型 9.2.2　Tez数据处理引擎 9.3　DAG Master实现 9.3.1　DAG编程模型 9.3.2　MR到DAG转换 9.3.3　DAGAppMaster 9.4　优化机制 9.4.1　当前YARN框架存在的问题 9.4.2　Tez引入的优化技术 9.5　Tez应用场景 9.6　与其他系统比较 9.7　小结第10章　实时/内存计算框架Storm/Spark 10.1　Hadoop MapReduce的短板 10.2　实时计算框架Storm 10.2.1　Storm编程模型 10.2.2　Storm基本架构 10.2.3　Storm On YARN 10.3　内存计算框架Spark 10.3.1　Spark编程模型 10.3.2　Spark基本架构 10.3.3　Spark On YARN 10.3.4　Spark/Storm On YARN比较 10.4　小结第四部分　高级篇第11章　Facebook Corona剖析 11.1　概述 11.1.1　Corona的基本架构 11.1.2　Corona的RPC协议与序列化框架 11.2　Corona设计特点 11.2.1　推式网络通信模型 11.2.2　基于Hadoop 0.20版本 11.2.3　使用Thrift 11.2.4　深度集成Fair Scheduler 11.3　工作流程介绍 11.3.1　作业提交 11.3.2　资源申请与任务启动 11.4　主要模块介绍 11.4.1　ClusterManager 11.4.2　CoronaJobTracker 11.4.3　CoronaTaskTracker 11.5　小结第12章　Apache Mesos剖析 12.1　概述 12.2　底层网络通信库 12.2.1　libprocess基本架构 12.2.2　一个简单示例 12.3　Mesos服务 12.3.1　SchedulerProcess 12.3.2　Mesos Master 12.3.3　Mesos Slave 12.3.4　ExecutorProcess 12.4　Mesos工作流程 12.4.1　框架注册过程 12.4.2　Framework Executor注册过程 12.4.3　资源分配到任务运行过程 12.4.4　任务启动过程 12.4.5　任务状态更新过程 12.5　Mesos资源分配策略 12.5.1　Mesos资源分配框架 12.5.2　Mesos资源分配算法 12.6　Mesos容错机制 12.6.1　Mesos Master容错 12.6.2　Mesos Slave容错 12.7　Mesos应用实例 12.7.1　Hadoop On Mesos 12.7.2　Storm On Mesos 12.8　Mesos与YARN对比 12.9　小结第13章　YARN总结与发展趋势 13.1　资源管理系统设计动机 13.2　资源管理系统架构演化 13.2.1　集中式架构 13.2.2　双层调度架构 13.2.3　共享状态架构 13.3　YARN发展趋势 13.3.1　YARN自身的完善 13.3.2　以YARN为核心的生态系统 13.3.3　YARN周边工具的完善 13.4　小结附录A　YARN安装指南附录B　YARN配置参数介绍附录C　Hadoop Shell命令介绍附录D　参考资料前言　　为什么要写这本书　　在互联网巨头的带动下，开源软件Hadoop的应用变得越来越广泛，目前互联网、金融、银行、零售等行业均在使用或者尝试使用Hadoop。IDC对未来几年中国的预测中就专门提到了大数据，其认为未来几年，会有越来越多的企业级用户试水大数据平台和应用，而这之中，Hadoop将成为最耀眼的“明星”。　　尽管Hadoop整个生态系统是开源的，但由于它包含的软件种类过多，且版本升级过快，大部分公司，尤其是一些中小型公司，难以在有限的时间内快速掌握Hadoop蕴含的价值。此外，Hadoop自身版本的多样化也给很多研发人员带来了很大的学习负担，尽管当前市面上已有很多参考书籍，但遗憾的是，能够深入剖析Hadoop内部实现细节的书籍少之又少，而本书则尝试弥补这一缺憾。本书是笔者继《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》之后的又一本剖析Hadoop内幕的书籍。　　本书介绍的YARN（Yet Another Resource Negotiator）系统是Hadoop 2.0新增加的一个子项目（与Common、MapReduce和HDFS三个分支并列），它的引入使得分布式计算系统进入平台化时代，即各种计算框架可以运行在一个集群中，由资源管理系统进行统一管理和调度，它们共享整个集群中的资源进而提高资源利用率。　　本书以Hadoop 2.0为基础，从基本概念、程序设计和内部实现等方面深入剖析了Hadoop YARN。本书重点分析了YARN的核心实现以及运行在YARN上的计算框架，其中，核心实现包括基础库、编程接口、ResourceManager实现、资源调度器实现、NodeManager实现等，而计算框架则包括离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark等。书中不仅详细介绍了YARN各个组件和计算框架的内部实现原理，而且结合源代码进行了深入剖析，使读者可以快速、全面地学习Hadoop YARN设计原理和实现细节。　　读者对象　　（1）Hadoop二次开发人员　　由于在扩展性、容错性和稳定性等方面的诸多优点，Hadoop已被越来越多公司采用，而为了减少开发成本，大部分公司在Hadoop基础上进行二次开发，以打造属于公司内部的Hadoop平台。对于这部分Hadoop二次开发人员，深入而又全面地了解Hadoop的设计与实现细节是修改Hadoop内核的前提，而本书可帮助这部分读者快速而又全面地了解Hadoop实现细节。　　（2）Hadoop应用开发人员　　如果要利用Hadoop进行高级应用开发，仅掌握Hadoop基本使用方法是远远不够的，必须对Hadoop框架的设计原理、架构和运作机制有一定的了解。对这部分读者而言，本书将带领他们全面了解Hadoop的设计和实现，加深对Hadoop框架的理解，提高开发水平，从而编写出更加高效的应用程序。　　（3）Hadoop运维工程师　　对于一名合格的Hadoop运维工程师而言，适当地了解Hadoop框架的设计原理、架构和运作机制是十分有帮助的，这不仅可以更快地排除各种可能的Hadoop故障，也能够让Hadoop运维人员与研发人员进行更有效地沟通。通过阅读本书，Hadoop运维人员可以了解到很多从其他书中无法获取的Hadoop实现细节。　　（4）开源软件爱好者　　Hadoop是开源软件中的佼佼者，它在实现的过程中吸收了很多开源领域的优秀思想，同时也有很多值得学习的创新。尤为值得一提的是，本书分析Hadoop设计和实现的方式也许值得所有开源软件爱好者进行学习和借鉴。通过阅读本书，这部分读者不仅能领略到开源软件的优秀思想，还可以掌握分析开源软件源代码的方法和技巧，从而进一步提高使用开源软件的效率和质量。　　如何阅读本书　　本书分为四大部分（不包括附录）：　　第一部分为基础篇（第1～2章），简单地介绍Hadoop YARN的环境搭建和基本设计架构，帮助读者了解一些基础背景知识。　　第二部分为YARN核心设计篇（第3～7章），着重讲解YARN基本库、应用程序设计方法和运行时环境的实现，包括ResourceManager、NodeManager和资源调度器等关键组件的内部实现细节。　　第三部分为计算框架篇（第8～10章），主要讲解当前比较流行的可运行在YARN上的计算框架，包括离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark。　　第四部分为高级篇（第11～13章），主要介绍了几个类似于Hadoop YARN的开源资源管理系统，包括Corona、Mesos等，并总结了资源管理系统的特点及发展趋势。　　另外本书最后还添加了几个附录：附录A为YARN安装指南；附录B介绍了常见的YARN配置参数；附录C介绍了常用的Hadoop Shell命令；附录D为本书的所有参考资料，包括参考论文、Hadoop jira和网络资源等。　　Hadoop YARN是Hadoop 2.0新引入的系统，对于大部分读者而言，该系统存在很多疑惑与未知之处，而本书正是尝试全方位剖析该系统。为了能够系统化地学习YARN，推荐读者从第1章的基础理论知识开始学习。　　致谢　　感谢我的导师廖华明副研究员，是她引我进入Hadoop世界。　　感谢腾讯的蔡斌老师，正是由于他的推荐，才使得两本Hadoop书的出版成为可能。　　感谢机械工业出版社华章公司的杨福川老师和孙海亮老师在这一年多的时间中始终支持我的写作，他们的鼓励和帮助使我顺利完成了本书。　　感谢何鹏、姜冰、郑伟伟、战科宇、周礼、刘晏辰、王群等人给我提供的各种帮助。　　最后感谢我的父母，感谢他们的养育之恩，感谢兄长的鼓励和支持，感谢他们时时刻刻给我信心和力量！感谢我的女朋友颛悦对我生活的细心照料与琐事上的宽容。　　谨以此书献给我最亲爱的家人，以及众多热爱Hadoop的朋友们！　　董西成　　于北京媒体评论　　大数据的理论和价值逐渐得到了社会各界的认可，各种各样的大数据应用系统应运而生，正在创造性地解决着不同使用场景下的问题。在大数据应用越来越多样化的同时，对提供支撑的基础技术平台提出了更高的要求。Hadoop是目前市场接受程度最高的大数据技术平台之一，在大量有代表性的Hadoop 1.x用户使用体验和反馈的基础上，广受关注的Hadoop 2.x版本在平台设计层面做出了重大改进，已于2013年10月正式发布。　　YARN是Hadoop 2.x的核心部分。它作为新一代的资源管理系统，不仅支持MapReduce计算框架，还可以支持流式计算框架、图计算框架、内存迭代计算框架等，极大地扩展了Hadoop的使用场景，提高了Hadoop集群的利用效率。董西成先生理论功底深厚，实践经验丰富，本书可以帮助大家快速了解和学习YARN。　　——谢磊　北京小象科技有限公司执行董事/ChinaHadoop技术社区负责人

2013-12-12

hadoop集群建立

hadoop集群建立，从准备工作到hadoop配置，再到hadoop的启动。。。 1. 准备工作 1.1. 准备机器：一台(注意只有一台)master，若干台slave（slaves数量可变），配置每台机器的/etc/hosts保证各台机器之间通过机器名可以互访。 1.2. Linux所需软件: JavaTM1.5.x以上，必须安装，建议选择Sun公司发行的Java版本。 Ssh。必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。 1.3. 免密码ssh设置作为一个安全通信协议，使用时需要密码，因此我们要设置成为免密码登录。 2. hadoop配置 2.1. 安装安装hadoop集群通常要将安装软件解压到集群内的所有机器上，并且安装路径要一致。 2.2. 配置在配置阶段，主要编辑的配置文件有着六个在conf目录下，配置文件分别为：hadoop-env.sh，core-site.xml ，hdfs-site.xml，mapred-site.xml，master和slaves。并且安装路径要一致。 3. hadoop启动与关闭在第一次配置好hadoop集群时，必须先格式化一个新的分布式文件系统。在主节点master上面启动hadoop，主节点会启动所有从节点的hadoop。

2013-09-16

VMsvga2 v1.2.3

VMWARE FOR MAC DRIVER VMsvga2 v1.2.3！Mac OS X 的显卡驱动，完美支持Lion！支持Lion系统，有1366*768的分辨率，很适合笔记本用户使用！

2011-11-20

J2EE_Tutorial_中文版

或许你已经非常熟悉Java程序开发，但是现在，你应该进入更高一个层次，使用Java2平台企业版（J2EE）来创建企业级应用程序。《The J2EETM Tutorial 中文版》以丰富的实例提供独一无二的技术指导，对于每一位在J2EE平台上开发和部署应用程序的开发人员来说，都是一本案头必备的参考手册。　　《The J2EETM Tutorial 中文版》的作者是Sun Microsystem公司Java开发小组资深的开发人员，与另一部取得空前成功的《The JavaTM Tutorial》一样，建立了与读者之间最为有效的交互途径。同时，在本书的编写过程中，也综合了大量来自于最终用户和系统设计师们的建议与反馈，保证了《The J2EETM Tutorial 中文版》能真正提供有价值的技术指导。你会发现书中使用了许多构思精巧的实例程序（包括源码）来描述J2EE关键的概念。此外，简明扼要的文字说明也有助于你快速掌握J2EE平台的多项技术，包括：　　☆ Enterprise JavaBean 　　☆ Java Servlet 　　☆ JavaServer Pages 　　☆ Java Message Service (JMS，Java消息服务) 　　☆ Java Naming and Directory Interface (JNDI，Java名字与目录接口) 　　☆ XML 　　☆ J2EE Connector Architecture （J2EE连接器架构）　　☆ JavaMail 　　☆ JDBC 　　当你准备创建自己的大型企业级应用系统时，希望求助于无以伦比的技术指导、知识和经验时，你会发现在《The J2EETM Tutorial 中文版》一书中你能找到所有的一切。　　Stephanie Bodoff, Dale Green, Kim Haase, 和Eric Jendrock是Sun Microsystem公司的专职作家，他们与Java开发人员团体（JDC）的Monica Pawlan一起编写了J2EE平台的联机文档。Beth Stearns是Computer Ease出版社的总裁。

2011-07-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

LeetCode book——CleanCodeHandbook_v1.0.1

spark源码分析_20140521

Codeblocks 12.11 汉化

2013中国大数据技术大会PPT——Big Data in Cloud

2013中国大数据技术大会PPT——中国移劢大数据应用实践

2013中国大数据技术大会PPT——腾讯大规模Hadoop集群实践

2013中国大数据技术大会PPT——阿里搜索流计算技术

2013中国大数据技术大会PPT——阿里大数据应用平台

2013中国大数据技术大会PPT

2013中国大数据技术大会PPT——360超大规模HBASE集群的改进

Hadoop技术内幕：深入解析YARN架构设计与实现原理.迷你书

hadoop集群建立

VMsvga2 v1.2.3

J2EE_Tutorial_中文版

java EE 6 api

SpeedCubingTimer002

SPEEDCUBINGTIMER

PLL-Harris Chan

PLL-Breandan Vallance-

OLL - Harris Chan 2

OLL - Harris Chan

cfop 魔方 掌中宝

CFOP学习者快速掌握角先法

CFOP 精选顺手公式 三叶虫

CFOP分阶段学习教程

Red Hat Linux6.0实用教程

CFOP 快速 顺手魔方教程

空空如也

cfop 魔方掌中宝

CFOP 精选顺手公式三叶虫

CFOP 快速顺手魔方教程