2015年03月_makuiyu

04月 03月 02月 01月

原创 LeetCode --- 80. Remove Duplicates from Sorted Array II

题目链接：Remove Duplicates from Sorted Array IIFollow up for "Remove Duplicates":What if duplicates are allowed at most twice?For example,Given sorted array A = [1,1,1,2,2,3],Your function sho

2015-03-23 21:29:16 1054

原创 LeetCode --- 79. Word Search

题目链接：Word SearchGiven a 2D board and a word, find if the word exists in the grid.The word can be constructed from letters of sequentially adjacent cell, where "adjacent" cells are those horizontal

2015-03-23 21:28:57 664

原创 LeetCode --- 78. Subsets

题目链接：SubsetsGiven a set of distinct integers, S, return all possible subsets.Note:Elements in a subset must be in non-descending order.The solution set must not contain duplicate subsets.For

2015-03-23 21:27:40 799

原创 LeetCode --- 77. Combinations

题目链接：CombinationsGiven two integers n and k, return all possible combinations of k numbers out of 1 ... n.For example,If n = 4 and k = 2, a solution is:[ [2,4], [3,4], [2,3], [1,

2015-03-23 21:26:44 756

原创 LeetCode --- 76. Minimum Window Substring

题目链接：Minimum Window SubstringGiven a string S and a string T, find the minimum window in S which will contain all the characters in T in complexity O(n).For example,S = "ADOBECODEBANC"T = "ABC

2015-03-23 21:26:09 2946

原创 LeetCode --- 75. Sort Colors

题目链接：Sort ColorsGiven an array with n objects colored red, white or blue, sort them so that objects of the same color are adjacent, with the colors in the order red, white and blue.Here, we will u

2015-03-20 21:52:04 822

原创 LeetCode --- 74. Search a 2D Matrix

题目链接：Search a 2D MatrixWrite an efficient algorithm that searches for a value in an m x n matrix. This matrix has the following properties:Integers in each row are sorted from left to right.The

2015-03-20 21:51:15 704

原创 LeetCode --- 73. Set Matrix Zeroes

题目链接：Set Matrix ZeroesGiven a m x n matrix, if an element is 0, set its entire row and column to 0. Do it in place.Follow up:Did you use extra space?A straight forward solution using O(mn) spa

2015-03-20 21:50:38 1954

原创 LeetCode --- 72. Edit Distance

题目链接：Edit DistanceGiven two words word1 and word2, find the minimum number of steps required to convert word1 to word2. (each operation is counted as 1 step.)You have the following 3 operations pe

2015-03-20 21:47:11 770

原创 LeetCode --- 71. Simplify Path

题目链接：Simplify PathGiven an absolute path for a file (Unix-style), simplify it.For example,path = "/home/", => "/home"path = "/a/./b/../../c/", => "/c"Corner Cases:Did you consider the ca

2015-03-20 21:46:14 6746

原创 LeetCode --- 70. Climbing Stairs

题目链接：Climbing StairsYou are climbing a stair case. It takes n steps to reach to the top.Each time you can either climb 1 or 2 steps. In how many distinct ways can you climb to the top?这道题的要求是爬n阶

2015-03-19 21:58:02 930 2

原创 LeetCode --- 69. Sqrt(x)

题目链接：Sqrt(x)Implement int sqrt(int x).Compute and return the square root of x.这道题的要求是实现int sqrt(int x)，即计算x的平方根。考虑二分，即先令l和r分别为1和x/2+1（x的平方根一定小于等于x/2+1），然后m等于(l+r)/2，不断比较m*m和x的大小。由于

2015-03-19 21:57:17 778

原创 LeetCode --- 68. Text Justification

题目链接：Text JustificationGiven an array of words and a length L, format the text such that each line has exactly L characters and is fully (left and right) justified.You should pack your words in a

2015-03-19 21:54:38 861

原创 LeetCode --- 67. Add Binary

题目链接：Add BinaryGiven two binary strings, return their sum (also a binary string).For example,a = "11"b = "1"Return "100".这道题的要求是两个二进制字符串加法运算。简单的大数加法，只不过是二进制的。处理进位的时候，按照二进制处理即可。时间复杂度

2015-03-19 21:54:04 1406

原创 LeetCode --- 66. Plus One

题目链接：Plus OneGiven a non-negative number represented as an array of digits, plus one to the number.The digits are stored such that the most significant digit is at the head of the list.这道题的要求是给定

2015-03-19 21:53:21 10084

原创 LeetCode --- 65. Valid Number

题目链接：Valid NumberValidate if a given string is numeric.Some examples:"0" => true " 0.1 " => true "abc" => false "1 a" => false "2e10" => true Note: It is intended for the problem stat

2015-03-15 23:34:37 779

原创 LeetCode --- 64. Minimum Path Sum

题目链接：Minimum Path SumGiven a m x n grid filled with non-negative numbers, find a path from top left to bottom right which minimizes the sum of all numbers along its path.Note: You can only move ei

2015-03-15 23:33:59 744

原创 LeetCode --- 63. Unique Paths II

题目链接：Unique Paths IIFollow up for "Unique Paths":Now consider if some obstacles are added to the grids. How many unique paths would there be?An obstacle and empty space is marked as 1 and 0 resp

2015-03-15 23:33:14 667

原创 LeetCode --- 61. Rotate List

题目链接：Rotate ListGiven a list, rotate the list to the right by k places, where k is non-negative.For example:Given 1->2->3->4->5->NULL and k = 2, return 4->5->1->2->3->NULL. 这道题的要求是向右旋转链表

2015-03-15 23:33:07 1307

原创 LeetCode --- 62. Unique Paths

题目链接：Unique PathsA robot is located at the top-left corner of a m x n grid (marked 'Start' in the diagram below).The robot can only move either down or right at any point in time. The robot is try

2015-03-15 23:32:37 633

原创 LeetCode --- 60. Permutation Sequence

题目链接：Permutation SequenceThe set [1,2,3,…,n] contains a total of n! unique permutations.By listing and labeling all of the permutations in order,We get the following sequence (ie, for n = 3):

2015-03-14 23:18:23 788

原创 LeetCode --- 59. Spiral Matrix II

题目链接：Spiral Matrix IIGiven an integer n, generate a square matrix filled with elements from 1 to n^2 in spiral order.For example,Given n = 3,You should return the following matrix:[ [ 1,

2015-03-14 23:16:43 695

原创 LeetCode --- 58. Length of Last Word

Given a string s consists of upper/lower-case alphabets and empty space characters ' ', return the length of last word in the string.If the last word does not exist, return 0.Note: A word is defin

2015-03-14 23:13:27 728

原创 LeetCode --- 57. Insert Interval

Given a set of non-overlapping intervals, insert a new interval into the intervals (merge if necessary).You may assume that the intervals were initially sorted according to their start times.Examp

2015-03-14 23:10:32 2217

原创 LeetCode --- 56. Merge Intervals

题目链接：Merge IntervalsGiven a collection of intervals, merge all overlapping intervals.For example,Given [1,3],[2,6],[8,10],[15,18], return [1,6],[8,10],[15,18]. 这道题的要求是将给定的一组间隔中有重叠的进行合并。

2015-03-14 23:03:47 1399

原创 LeetCode --- 55. Jump Game

题目链接：Jump GameGiven an array of non-negative integers, you are initially positioned at the first index of the array.Each element in the array represents your maximum jump length at that position.

2015-03-12 10:31:10 1108

原创 LeetCode --- 54. Spiral Matrix

题目链接：Spiral MatrixGiven a matrix of m x n elements (m rows, n columns), return all elements of the matrix in spiral order.For example,Given the following matrix:[ [ 1, 2, 3 ], [ 4, 5, 6

2015-03-12 10:30:35 605

原创 LeetCode --- 53. Maximum Subarray

题目链接：Maximum SubarrayFind the contiguous subarray within an array (containing at least one number) which has the largest sum.For example, given the array [−2,1,−3,4,−1,2,1,−5,4],the contiguous s

2015-03-07 10:50:54 668

原创 LeetCode --- 52. N-Queens II

题目链接：N-Queens IIFollow up for N-Queens problem.Now, instead outputting board configurations, return the total number of distinct solutions.这道题的要求是返回N皇后问题总共有多少不同情况。和N-Queens问题一样，同样的思路，至少这个是统计数量

2015-03-07 10:49:08 1506

原创 LeetCode --- 51. N-Queens

题目链接：N-QueensThe n-queens puzzle is the problem of placing n queens on an n×n chessboard such that no two queens attack each other.Given an integer n, return all distinct solutions to the n-queens

2015-03-07 10:46:41 2620

原创 LeetCode --- 50. Pow(x, n)

题目链接：Pow(x, n)Implement pow(x, n).这道题的要求是实现pow(x, n)函数。求x的n次幂。直接的暴力思路，将x乘以自身n次即可，时间复杂度O(n)。当n非常大时，计算时间过长。考虑将n转化为二进制数，即n = a0*2^0 + a1*2^1 + a2*2^2 + ... + an*2^n。而求x的n次幂，即为x^n = x^(a0*2^0 + a1

2015-03-04 10:13:30 827

原创 LeetCode --- 49. Anagrams

题目链接：AnagramsGiven an array of strings, return all groups of strings that are anagrams.Note: All inputs will be in lower-case.这道题的要求是给定字符串数组，返回能构成异构的所有字符串。anagram，即异构，意思是指由颠倒字母顺序组成的单词，比如“live”

2015-03-04 10:12:28 716

原创 LeetCode --- 48. Rotate Image

题目链接：Rotate ImageYou are given an n x n 2D matrix representing an image.Rotate the image by 90 degrees (clockwise).Follow up:Could you do this in-place?这道题的要求是将n*n的矩阵顺时针旋转90°，要求原地旋转，即不申请额外空间

2015-03-03 10:00:43 1088

原创 LeetCode --- 47. Permutations II

题目链接：Permutations IIGiven a collection of numbers that might contain duplicates, return all possible unique permutations.For example,[1,1,2] have the following unique permutations: [1,1,2], [

2015-03-03 09:59:55 759

原创 LeetCode --- 46. Permutations

题目链接：PermutationsGiven a collection of numbers, return all possible permutations.For example,[1,2,3] have the following permutations: [1,2,3], [1,3,2], [2,1,3], [2,3,1], [3,1,2], and [3,2,1].

2015-03-03 09:58:41 702

LeetCode book——CleanCodeHandbook_v1.0.1

2014-12-22

spark源码分析_20140521

Spark 源码分析出自他人：王联辉[email protected] 这里只是搬运工，1分造福大家。很不错的资源，大家可以查考！

2014-05-22

Codeblocks 12.11 汉化包，这是真正的12.11的汉化，网上现在所谓的12.11汉化包基本上都是10.05的汉化。这是真正的12.11的汉化。把解压后的locale文件夹考到codeblocks/share/codeblocks下，然后在codeblocks里找到settings->environment settings->view->Internationalization选择chinese

2013-12-21

2013中国大数据技术大会PPT——Big Data in Cloud

【大数据架构与系统】VMware主管工程师堵俊平分享了大数据5点趋势：Hadoop 2.0和YARN在大数据生态系统中扮演资源管理的核心角色；MR不够好，Tez，Spark可能是替代者；HDFS努力支持更多的业务场景；更多的基于Hadoop的SQL引擎，如Drill、 Impala、Stinger；企业级服务，安全、HA、QoS等。

2013-12-13

2013中国大数据技术大会PPT——中国移劢大数据应用实践

【智能交通与大数据技术峰会】中国移动研究院专家，中国移动通信研究院云计算系统部大数据产品开发室技术经理徐萌表示移动互联网用户流量激增，手机数据化、宽带化趋势明显，亟需深挖大数据价值。移动的大云实验室在BC-Hadoop上在做搭建开源站点和开源合作方面的工作。

2013-12-12

2013中国大数据技术大会PPT——腾讯大规模Hadoop集群实践

【大数据架构与系统】腾讯数据中心资深专家翟艳堂分享了腾讯建立大规模Hadoop集群的过程，首先要解决单点问题，将JobTracker分散化，做NameNode高可用。在业务选型方面，选择了成熟度更高的Facebook开源的Corona。

2013-12-12

2013中国大数据技术大会PPT——阿里搜索流计算技术

【大数据技术】阿里搜索事业部高级技术专家王峰介绍了一淘全网商品搜索系统架构、全网商品离线处理流程。本次大会是一淘第一次从基本概念、拓扑结构、消息管理、进度管理、编程接口等方面对外来介绍iSteam的计算模型。

2013-12-12

2013中国大数据技术大会PPT——阿里大数据应用平台

【大数据应用】阿里巴巴数据平台架构师刘昌钰，讲述了阿里大数据应用平台的业务流程：数据导入、数据开发、数据生产、数据回流、元数据中心、数据质量中心。阿里每天要处理的数据非常惊人，仅在日志中心，日采集40TB数据，峰值1GB/s。

2013-12-12

2013中国大数据技术大会PPT

2013-12-12

2013中国大数据技术大会PPT——360超大规模HBASE集群的改进

【大数据技术主题论坛】奇虎360技术经理赵健博介绍目前360搜索、安全、监控等业务都使用了HBase集群，同时重点介绍了奇虎360近一年来结合业务对HBase作出的改进，如针对集群大、Region多致使启动时间过长进行的优化，同时还分享了专属MetaServer、Scan、保护模式、索引加载等方面的调优。

2013-12-12

Hadoop技术内幕：深入解析YARN架构设计与实现原理.迷你书

Hadoop技术内幕：深入解析YARN架构设计与实现原理迷你书（资深Hadoop技术专家董西成撰写，ChinaHadoop和51CTO等联袂推荐！从应用角度系统讲解YARN的使用方法和技巧，从源码角度分析YARN的架构设计和实现原理）《Hadoop技术内幕：深入解析YARN架构设计与实现原理》是“Hadoop技术内幕”系列的第3本书，前面两本分别对Common、HDFS和MapReduce进行了深入分析和讲解，赢得了极好的口碑，Hadoop领域几乎人手一册，本书则对YARN展开了深入的探讨，是首部关于YARN的专著。仍然由资深Hadoop技术专家董西成执笔，根据最新的Hadoop 2.0版本撰写，权威社区ChinaHadoop鼎力推荐。　　《Hadoop技术内幕：深入解析YARN架构设计与实现原理》从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架（MapReduce、Tez、Storm、Spark），以及多个类YARN的开源资源管理系统（Corona和Mesos）；从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理，以及各种计算框架的实现细节。　　《Hadoop技术内幕：深入解析YARN架构设计与实现原理》共四部分13章：第一部分（第1~2章）主要介绍了如何获取、阅读和调试Hadoop的源代码，以及YARN的设计思想、基本架构和工作流程；第二部分（第3~7章）结合源代码详细剖析和讲解了YARN的第三方开源库、底层通信库、服务库、事件库的基本使用和实现细节，详细讲解了YARN的应用程序设计方法，深入讲解和分析了ResourceManager、资源调度器、NodeManager等组件的实现细节；第三篇（第8~10章）则对离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark进行了详细的讲解；第四部分（第11~13章）首先对Facebook Corona和Apache Mesos进行了深入讲解，然后对YARN的发展趋势进行了展望。附录部分收录了YARN安装指南、YARN配置参数以及Hadoop Shell命令等非常有用的资料。目录前　言第一部分　准备篇第1章　环境准备 1.1　准备学习环境 1.1.1　基础软件下载 1.1.2　如何准备Linux环境 1.2　获取Hadoop源代码 1.3　搭建Hadoop源代码阅读环境 1.3.1　创建Hadoop工程 1.3.2　Hadoop源代码阅读技巧 1.4　Hadoop源代码组织结构 1.5　Hadoop初体验 1.5.1　搭建Hadoop环境 1.5.2　Hadoop Shell介绍 1.6　编译及调试Hadoop源代码 1.6.1　编译Hadoop源代码 1.6.2　调试Hadoop源代码 1.7　小结第2章　YARN设计理念与基本架构 2.1　YARN产生背景 2.1.1　MRv1的局限性 2.1.2　轻量级弹性计算平台 2.2　Hadoop基础知识 2.2.1　术语解释 2.2.2　Hadoop版本变迁 2.3　YARN基本设计思想 2.3.1　基本框架对比 2.3.2　编程模型对比 2.4　YARN 基本架构 2.4.1　YARN基本组成结构 2.4.2　YARN通信协议 2.5　YARN工作流程 2.6　多角度理解YARN 2.6.1　并行编程 2.6.2　资源管理系统 2.6.3　云计算 2.7　本书涉及内容 2.8　小结第二部分　YARN核心设计篇第3章　YARN基础库 3.1　概述 3.2　第三方开源库 3.2.1　Protocol Buffers 3.2.2　Apache Avro 3.3　底层通信库 3.3.1　RPC通信模型 3.3.2　Hadoop RPC的特点概述 3.3.3　RPC总体架构 3.3.4　Hadoop RPC使用方法 3.3.5　Hadoop RPC类详解 3.3.6　Hadoop RPC参数调优 3.3.7　YARN RPC实现 3.3.8　YARN RPC应用实例 3.4　服务库与事件库 3.4.1　服务库 3.4.2　事件库 3.4.3　YARN服务库和事件库的使用方法 3.4.4　事件驱动带来的变化 3.5　状态机库 3.5.1　YARN状态转换方式 3.5.2　状态机类 3.5.3　状态机的使用方法 3.5.4　状态机可视化 3.6　源代码阅读引导 3.7　小结 3.8　问题讨论第4章　YARN应用程序设计方法 4.1　概述 4.2　客户端设计 4.2.1　客户端编写流程 4.2.2　客户端编程库 4.3　ApplicationMaster设计 4.3.1　ApplicationMaster编写流程 4.3.2　ApplicationMaster编程库 4.4　YARN 应用程序实例 4.4.1　DistributedShell 4.4.2　Unmanaged AM 4.5　源代码阅读引导 4.6　小结 4.7　问题讨论第5章　ResourceManager剖析 5.1　概述 5.1.1　ResourceManager基本职能 5.1.2　ResourceManager内部架构 5.1.3　ResourceManager事件与事件处理器 5.2　用户交互模块 5.2.1　ClientRMService 5.2.2　AdminService 5.3　ApplicationMaster管理 5.4　NodeManager管理 5.5　Application管理 5.6　状态机管理 5.6.1　RMApp状态机 5.6.2　RMAppAttempt状态机 5.6.3　RMContainer状态机 5.6.4　RMNode状态机 5.7　几个常见行为分析 5.7.1　启动ApplicationMaster 5.7.2　申请与分配Container 5.7.3　杀死Application 5.7.4　Container超时 5.7.5　ApplicationMaster超时 5.7.6　NodeManager超时 5.8　安全管理 5.8.1　术语介绍 5.8.2　Hadoop认证机制 5.8.3　Hadoop授权机制 5.9　容错机制 5.9.1　Hadoop HA基本框架 5.9.2　YARN HA实现 5.10　源代码阅读引导 5.11　小结 5.12　问题讨论第6章　资源调度器 6.1　资源调度器背景 6.2　HOD调度器 6.2.1　Torque资源管理器 6.2.2　HOD作业调度 6.3　YARN资源调度器的基本架构 6.3.1　基本架构 6.3.2　资源表示模型 6.3.3　资源调度模型 6.3.4　资源抢占模型 6.4　YARN层级队列管理机制 6.4.1　层级队列管理机制 6.4.2　队列命名规则 6.5　Capacity Scheduler 6.5.1　Capacity Scheduler的功能 6.5.2　Capacity Scheduler实现 6.6　Fair Scheduler 6.6.1　Fair Scheduler功能介绍 6.6.2　Fair Scheduler实现 6.6.3　Fair Scheduler与Capacity Scheduler对比 6.7　其他资源调度器介绍 6.8　源代码阅读引导 6.9　小结 6.10　问题讨论第7章　NodeManager剖析 7.1　概述 7.1.1　NodeManager基本职能 7.1.2　NodeManager内部架构 7.1.3　NodeManager事件与事件处理器 7.2　节点健康状况检测 7.2.1　自定义Shell脚本 7.2.2　检测磁盘损坏数目 7.3　分布式缓存机制 7.3.1　资源可见性与分类 7.3.2　分布式缓存实现 7.4　目录结构管理 7.4.1　数据目录管理 7.4.2　日志目录管理 7.5　状态机管理 7.5.1　Application状态机 7.5.2　Container状态机 7.5.3　LocalizedResource状态机 7.6　Container生命周期剖析 7.6.1　Container资源本地化 7.6.2　Container运行 7.6.3　Container资源清理 7.7　资源隔离 7.7.1　Cgroups介绍 7.7.2　内存资源隔离 7.7.3　CPU资源隔离 7.8　源代码阅读引导 7.9　小结 7.10　问题讨论第三部分　计算框架篇第8章　离线计算框架MapReduce 8.1　概述 8.1.1　基本构成 8.1.2　事件与事件处理器 8.2　MapReduce客户端 8.2.1　ApplicationClientProtocol协议 8.2.2　MRClientProtocol协议 8.3　MRAppMaster工作流程 8.4　MR作业生命周期及相关状态机 8.4.1　MR作业生命周期 8.4.2　Job状态机 8.4.3　Task状态机 8.4.4　TaskAttempt状态机 8.5　资源申请与再分配 8.5.1　资源申请 8.5.2　资源再分配 8.6　Container启动与释放 8.7　推测执行机制 8.7.1　算法介绍 8.7.2　推测执行相关类 8.8　作业恢复 8.9　数据处理引擎 8.10　历史作业管理器 8.11　MRv1与MRv2对比 8.11.1　MRv1 On YARN 8.11.2　MRv1与MRv2架构比较 8.11.3　MRv1与MRv2编程接口兼容性 8.12　源代码阅读引导 8.13　小结 8.14　问题讨论第9章　DAG计算框架Tez 9.1　背景 9.2　Tez数据处理引擎 9.2.1　Tez编程模型 9.2.2　Tez数据处理引擎 9.3　DAG Master实现 9.3.1　DAG编程模型 9.3.2　MR到DAG转换 9.3.3　DAGAppMaster 9.4　优化机制 9.4.1　当前YARN框架存在的问题 9.4.2　Tez引入的优化技术 9.5　Tez应用场景 9.6　与其他系统比较 9.7　小结第10章　实时/内存计算框架Storm/Spark 10.1　Hadoop MapReduce的短板 10.2　实时计算框架Storm 10.2.1　Storm编程模型 10.2.2　Storm基本架构 10.2.3　Storm On YARN 10.3　内存计算框架Spark 10.3.1　Spark编程模型 10.3.2　Spark基本架构 10.3.3　Spark On YARN 10.3.4　Spark/Storm On YARN比较 10.4　小结第四部分　高级篇第11章　Facebook Corona剖析 11.1　概述 11.1.1　Corona的基本架构 11.1.2　Corona的RPC协议与序列化框架 11.2　Corona设计特点 11.2.1　推式网络通信模型 11.2.2　基于Hadoop 0.20版本 11.2.3　使用Thrift 11.2.4　深度集成Fair Scheduler 11.3　工作流程介绍 11.3.1　作业提交 11.3.2　资源申请与任务启动 11.4　主要模块介绍 11.4.1　ClusterManager 11.4.2　CoronaJobTracker 11.4.3　CoronaTaskTracker 11.5　小结第12章　Apache Mesos剖析 12.1　概述 12.2　底层网络通信库 12.2.1　libprocess基本架构 12.2.2　一个简单示例 12.3　Mesos服务 12.3.1　SchedulerProcess 12.3.2　Mesos Master 12.3.3　Mesos Slave 12.3.4　ExecutorProcess 12.4　Mesos工作流程 12.4.1　框架注册过程 12.4.2　Framework Executor注册过程 12.4.3　资源分配到任务运行过程 12.4.4　任务启动过程 12.4.5　任务状态更新过程 12.5　Mesos资源分配策略 12.5.1　Mesos资源分配框架 12.5.2　Mesos资源分配算法 12.6　Mesos容错机制 12.6.1　Mesos Master容错 12.6.2　Mesos Slave容错 12.7　Mesos应用实例 12.7.1　Hadoop On Mesos 12.7.2　Storm On Mesos 12.8　Mesos与YARN对比 12.9　小结第13章　YARN总结与发展趋势 13.1　资源管理系统设计动机 13.2　资源管理系统架构演化 13.2.1　集中式架构 13.2.2　双层调度架构 13.2.3　共享状态架构 13.3　YARN发展趋势 13.3.1　YARN自身的完善 13.3.2　以YARN为核心的生态系统 13.3.3　YARN周边工具的完善 13.4　小结附录A　YARN安装指南附录B　YARN配置参数介绍附录C　Hadoop Shell命令介绍附录D　参考资料前言　　为什么要写这本书　　在互联网巨头的带动下，开源软件Hadoop的应用变得越来越广泛，目前互联网、金融、银行、零售等行业均在使用或者尝试使用Hadoop。IDC对未来几年中国的预测中就专门提到了大数据，其认为未来几年，会有越来越多的企业级用户试水大数据平台和应用，而这之中，Hadoop将成为最耀眼的“明星”。　　尽管Hadoop整个生态系统是开源的，但由于它包含的软件种类过多，且版本升级过快，大部分公司，尤其是一些中小型公司，难以在有限的时间内快速掌握Hadoop蕴含的价值。此外，Hadoop自身版本的多样化也给很多研发人员带来了很大的学习负担，尽管当前市面上已有很多参考书籍，但遗憾的是，能够深入剖析Hadoop内部实现细节的书籍少之又少，而本书则尝试弥补这一缺憾。本书是笔者继《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》之后的又一本剖析Hadoop内幕的书籍。　　本书介绍的YARN（Yet Another Resource Negotiator）系统是Hadoop 2.0新增加的一个子项目（与Common、MapReduce和HDFS三个分支并列），它的引入使得分布式计算系统进入平台化时代，即各种计算框架可以运行在一个集群中，由资源管理系统进行统一管理和调度，它们共享整个集群中的资源进而提高资源利用率。　　本书以Hadoop 2.0为基础，从基本概念、程序设计和内部实现等方面深入剖析了Hadoop YARN。本书重点分析了YARN的核心实现以及运行在YARN上的计算框架，其中，核心实现包括基础库、编程接口、ResourceManager实现、资源调度器实现、NodeManager实现等，而计算框架则包括离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark等。书中不仅详细介绍了YARN各个组件和计算框架的内部实现原理，而且结合源代码进行了深入剖析，使读者可以快速、全面地学习Hadoop YARN设计原理和实现细节。　　读者对象　　（1）Hadoop二次开发人员　　由于在扩展性、容错性和稳定性等方面的诸多优点，Hadoop已被越来越多公司采用，而为了减少开发成本，大部分公司在Hadoop基础上进行二次开发，以打造属于公司内部的Hadoop平台。对于这部分Hadoop二次开发人员，深入而又全面地了解Hadoop的设计与实现细节是修改Hadoop内核的前提，而本书可帮助这部分读者快速而又全面地了解Hadoop实现细节。　　（2）Hadoop应用开发人员　　如果要利用Hadoop进行高级应用开发，仅掌握Hadoop基本使用方法是远远不够的，必须对Hadoop框架的设计原理、架构和运作机制有一定的了解。对这部分读者而言，本书将带领他们全面了解Hadoop的设计和实现，加深对Hadoop框架的理解，提高开发水平，从而编写出更加高效的应用程序。　　（3）Hadoop运维工程师　　对于一名合格的Hadoop运维工程师而言，适当地了解Hadoop框架的设计原理、架构和运作机制是十分有帮助的，这不仅可以更快地排除各种可能的Hadoop故障，也能够让Hadoop运维人员与研发人员进行更有效地沟通。通过阅读本书，Hadoop运维人员可以了解到很多从其他书中无法获取的Hadoop实现细节。　　（4）开源软件爱好者　　Hadoop是开源软件中的佼佼者，它在实现的过程中吸收了很多开源领域的优秀思想，同时也有很多值得学习的创新。尤为值得一提的是，本书分析Hadoop设计和实现的方式也许值得所有开源软件爱好者进行学习和借鉴。通过阅读本书，这部分读者不仅能领略到开源软件的优秀思想，还可以掌握分析开源软件源代码的方法和技巧，从而进一步提高使用开源软件的效率和质量。　　如何阅读本书　　本书分为四大部分（不包括附录）：　　第一部分为基础篇（第1～2章），简单地介绍Hadoop YARN的环境搭建和基本设计架构，帮助读者了解一些基础背景知识。　　第二部分为YARN核心设计篇（第3～7章），着重讲解YARN基本库、应用程序设计方法和运行时环境的实现，包括ResourceManager、NodeManager和资源调度器等关键组件的内部实现细节。　　第三部分为计算框架篇（第8～10章），主要讲解当前比较流行的可运行在YARN上的计算框架，包括离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark。　　第四部分为高级篇（第11～13章），主要介绍了几个类似于Hadoop YARN的开源资源管理系统，包括Corona、Mesos等，并总结了资源管理系统的特点及发展趋势。　　另外本书最后还添加了几个附录：附录A为YARN安装指南；附录B介绍了常见的YARN配置参数；附录C介绍了常用的Hadoop Shell命令；附录D为本书的所有参考资料，包括参考论文、Hadoop jira和网络资源等。　　Hadoop YARN是Hadoop 2.0新引入的系统，对于大部分读者而言，该系统存在很多疑惑与未知之处，而本书正是尝试全方位剖析该系统。为了能够系统化地学习YARN，推荐读者从第1章的基础理论知识开始学习。　　致谢　　感谢我的导师廖华明副研究员，是她引我进入Hadoop世界。　　感谢腾讯的蔡斌老师，正是由于他的推荐，才使得两本Hadoop书的出版成为可能。　　感谢机械工业出版社华章公司的杨福川老师和孙海亮老师在这一年多的时间中始终支持我的写作，他们的鼓励和帮助使我顺利完成了本书。　　感谢何鹏、姜冰、郑伟伟、战科宇、周礼、刘晏辰、王群等人给我提供的各种帮助。　　最后感谢我的父母，感谢他们的养育之恩，感谢兄长的鼓励和支持，感谢他们时时刻刻给我信心和力量！感谢我的女朋友颛悦对我生活的细心照料与琐事上的宽容。　　谨以此书献给我最亲爱的家人，以及众多热爱Hadoop的朋友们！　　董西成　　于北京媒体评论　　大数据的理论和价值逐渐得到了社会各界的认可，各种各样的大数据应用系统应运而生，正在创造性地解决着不同使用场景下的问题。在大数据应用越来越多样化的同时，对提供支撑的基础技术平台提出了更高的要求。Hadoop是目前市场接受程度最高的大数据技术平台之一，在大量有代表性的Hadoop 1.x用户使用体验和反馈的基础上，广受关注的Hadoop 2.x版本在平台设计层面做出了重大改进，已于2013年10月正式发布。　　YARN是Hadoop 2.x的核心部分。它作为新一代的资源管理系统，不仅支持MapReduce计算框架，还可以支持流式计算框架、图计算框架、内存迭代计算框架等，极大地扩展了Hadoop的使用场景，提高了Hadoop集群的利用效率。董西成先生理论功底深厚，实践经验丰富，本书可以帮助大家快速了解和学习YARN。　　——谢磊　北京小象科技有限公司执行董事/ChinaHadoop技术社区负责人

2013-12-12

hadoop集群建立

hadoop集群建立，从准备工作到hadoop配置，再到hadoop的启动。。。 1. 准备工作 1.1. 准备机器：一台(注意只有一台)master，若干台slave（slaves数量可变），配置每台机器的/etc/hosts保证各台机器之间通过机器名可以互访。 1.2. Linux所需软件: JavaTM1.5.x以上，必须安装，建议选择Sun公司发行的Java版本。 Ssh。必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。 1.3. 免密码ssh设置作为一个安全通信协议，使用时需要密码，因此我们要设置成为免密码登录。 2. hadoop配置 2.1. 安装安装hadoop集群通常要将安装软件解压到集群内的所有机器上，并且安装路径要一致。 2.2. 配置在配置阶段，主要编辑的配置文件有着六个在conf目录下，配置文件分别为：hadoop-env.sh，core-site.xml ，hdfs-site.xml，mapred-site.xml，master和slaves。并且安装路径要一致。 3. hadoop启动与关闭在第一次配置好hadoop集群时，必须先格式化一个新的分布式文件系统。在主节点master上面启动hadoop，主节点会启动所有从节点的hadoop。

2013-09-16

VMsvga2 v1.2.3

VMWARE FOR MAC DRIVER VMsvga2 v1.2.3！Mac OS X 的显卡驱动，完美支持Lion！支持Lion系统，有1366*768的分辨率，很适合笔记本用户使用！

2011-11-20

J2EE_Tutorial_中文版

或许你已经非常熟悉Java程序开发，但是现在，你应该进入更高一个层次，使用Java2平台企业版（J2EE）来创建企业级应用程序。《The J2EETM Tutorial 中文版》以丰富的实例提供独一无二的技术指导，对于每一位在J2EE平台上开发和部署应用程序的开发人员来说，都是一本案头必备的参考手册。　　《The J2EETM Tutorial 中文版》的作者是Sun Microsystem公司Java开发小组资深的开发人员，与另一部取得空前成功的《The JavaTM Tutorial》一样，建立了与读者之间最为有效的交互途径。同时，在本书的编写过程中，也综合了大量来自于最终用户和系统设计师们的建议与反馈，保证了《The J2EETM Tutorial 中文版》能真正提供有价值的技术指导。你会发现书中使用了许多构思精巧的实例程序（包括源码）来描述J2EE关键的概念。此外，简明扼要的文字说明也有助于你快速掌握J2EE平台的多项技术，包括：　　☆ Enterprise JavaBean 　　☆ Java Servlet 　　☆ JavaServer Pages 　　☆ Java Message Service (JMS，Java消息服务) 　　☆ Java Naming and Directory Interface (JNDI，Java名字与目录接口) 　　☆ XML 　　☆ J2EE Connector Architecture （J2EE连接器架构）　　☆ JavaMail 　　☆ JDBC 　　当你准备创建自己的大型企业级应用系统时，希望求助于无以伦比的技术指导、知识和经验时，你会发现在《The J2EETM Tutorial 中文版》一书中你能找到所有的一切。　　Stephanie Bodoff, Dale Green, Kim Haase, 和Eric Jendrock是Sun Microsystem公司的专职作家，他们与Java开发人员团体（JDC）的Monica Pawlan一起编写了J2EE平台的联机文档。Beth Stearns是Computer Ease出版社的总裁。

2011-07-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

LeetCode book——CleanCodeHandbook_v1.0.1

spark源码分析_20140521

Codeblocks 12.11 汉化

2013中国大数据技术大会PPT——Big Data in Cloud

2013中国大数据技术大会PPT——中国移劢大数据应用实践

2013中国大数据技术大会PPT——腾讯大规模Hadoop集群实践

2013中国大数据技术大会PPT——阿里搜索流计算技术

2013中国大数据技术大会PPT——阿里大数据应用平台

2013中国大数据技术大会PPT

2013中国大数据技术大会PPT——360超大规模HBASE集群的改进

Hadoop技术内幕：深入解析YARN架构设计与实现原理.迷你书

hadoop集群建立

VMsvga2 v1.2.3

J2EE_Tutorial_中文版

java EE 6 api

SpeedCubingTimer002

SPEEDCUBINGTIMER

PLL-Harris Chan

PLL-Breandan Vallance-

OLL - Harris Chan 2

OLL - Harris Chan

cfop 魔方 掌中宝

CFOP学习者快速掌握角先法

CFOP 精选顺手公式 三叶虫

CFOP分阶段学习教程

Red Hat Linux6.0实用教程

CFOP 快速 顺手魔方教程

空空如也

cfop 魔方掌中宝

CFOP 精选顺手公式三叶虫

CFOP 快速顺手魔方教程