2015年02月_makuiyu

04月 03月 02月 01月

原创 LeetCode --- 45. Jump Game II

题目链接：Jump Game IIGiven an array of non-negative integers, you are initially positioned at the first index of the array.Each element in the array represents your maximum jump length at that positio

2015-02-10 08:59:21 1660

原创 LeetCode --- 44. Wildcard Matching

题目链接：Multiply StringsImplement wildcard pattern matching with support for '?' and '*'.'?' Matches any single character. '*' Matches any sequence of characters (including the empty sequence).

2015-02-10 08:58:41 4213 1

原创 LeetCode --- 43. Multiply Strings

题目链接：Multiply StringsGiven two numbers represented as strings, return multiplication of the numbers as a string.Note: The numbers can be arbitrarily large and are non-negative.这道题的要求是计算大数乘法。其中大数

2015-02-10 08:57:25 2897

原创 LeetCode --- 42. Trapping Rain Water

题目链接：Trapping Rain WaterGiven n non-negative integers representing an elevation map where the width of each bar is 1, compute how much water it is able to trap after raining.For example,Given

2015-02-08 23:49:52 3470

原创 LeetCode --- 41. First Missing Positive

题目链接：First Missing PositiveGiven an unsorted integer array, find the first missing positive integer.For example,Given [1,2,0] return 3, and [3,4,-1,1] return 2. Your algorithm should run

2015-02-08 23:49:18 1137

原创 LeetCode --- 40. Combination Sum II

题目链接：Combination Sum IIGiven a collection of candidate numbers (C) and a target number (T), find all unique combinations in C where the candidate numbers sums to T.Each number in C may only be use

2015-02-06 21:39:41 732

原创 LeetCode --- 39. Combination Sum

题目链接：Combination SumGiven a set of candidate numbers (C) and a target number (T), find all unique combinations in C where the candidate numbers sums to T.The same repeated number may be chosen fro

2015-02-06 21:39:10 679

原创 LeetCode --- 38. Count and Say

题目链接：Count and SayThe count-and-say sequence is the sequence of integers beginning as follows:1, 11, 21, 1211, 111221, ... 1 is read off as "one 1" or 11. 11 is read off as "two 1s" or 21. 2

2015-02-05 23:33:41 4974

原创 LeetCode --- 37. Sudoku Solver

题目链接：Sudoku SolverWrite a program to solve a Sudoku puzzle by filling the empty cells.Empty cells are indicated by the character '.'.You may assume that there will be only one unique solution.

2015-02-05 23:32:54 774

原创 LeetCode --- 36. Valid Sudoku

题目链接：Valid SudokuDetermine if a Sudoku is valid, according to: Sudoku Puzzles - The Rules.The Sudoku board could be partially filled, where empty cells are filled with the character '.'.Note:A

2015-02-05 23:32:17 713

原创 LeetCode --- 35. Search Insert Position

题目链接：Search Insert PositionGiven a sorted array and a target value, return the index if the target is found. If not, return the index where it would be if it were inserted in order.You may assume

2015-02-04 23:19:21 803

原创 LeetCode --- 34. Search for a Range

题目链接：Search for a RangeGiven a sorted array of integers, find the starting and ending position of a given target value.Your algorithm's runtime complexity must be in the order of O(log n).If the

2015-02-04 23:18:37 755

原创 LeetCode --- 33. Search in Rotated Sorted Array

题目链接：Search in Rotated Sorted ArraySuppose a sorted array is rotated at some pivot unknown to you beforehand.(i.e., 0 1 2 4 5 6 7 might become 4 5 6 7 0 1 2).You are given a target value to sear

2015-02-04 23:17:56 738

原创 LeetCode --- 32. Longest Valid Parentheses

题目链接：Longest Valid ParenthesesGiven a string containing just the characters '(' and ')', find the length of the longest valid (well-formed) parentheses substring.For "(()", the longest valid paren

2015-02-04 23:16:46 2676

原创 LeetCode --- 31. Next Permutation

题目链接：Next PermutationImplement next permutation, which rearranges numbers into the lexicographically next greater permutation of numbers.If such arrangement is not possible, it must rearrange it a

2015-02-04 23:15:57 841

原创 LeetCode --- 30. Substring with Concatenation of All Words

题目链接：Substring with Concatenation of All WordsYou are given a string, S, and a list of words, L, that are all of the same length. Find all starting indices of substring(s) in S that is a concatena

2015-02-02 21:59:32 774

原创 LeetCode --- 29. Divide Two Integers

题目链接：Divide Two IntegersDivide two integers without using multiplication, division and mod operator.If it is overflow, return MAX_INT.这道题的要求是在不使用乘法、除法、取模运算的前提下实现两个整数相除。如果溢出，返回MAX_INT。这道题的直接思路是

2015-02-02 21:58:27 2250

原创 LeetCode --- 28. Implement strStr()

题目链接：Implement strStr()Implement strStr().Returns the index of the first occurrence of needle in haystack, or -1 if needle is not part of haystack.Update (2014-11-02):The signature of the func

2015-02-02 11:54:14 1570

原创 LeetCode --- 27. Remove Element

题目链接：Remove ElementGiven an array and a value, remove all instances of that value in place and return the new length.The order of elements can be changed. It doesn't matter what you leave beyond t

2015-02-02 11:53:09 828

原创 LeetCode --- 26. Remove Duplicates from Sorted Array

题目链接：Remove Duplicates from Sorted ArrayGiven a sorted array, remove the duplicates in place such that each element appear only once and return the new length.Do not allocate extra space for ano

2015-02-02 11:52:37 2883

原创 LeetCode --- 25. Reverse Nodes in k-Group

题目链接：Reverse Nodes in k-GroupGiven a linked list, reverse the nodes of a linked list k at a time and return its modified list.If the number of nodes is not a multiple of k then left-out nodes in t

2015-02-01 16:57:14 641

原创 LeetCode --- 24. Swap Nodes in Pairs

题目链接：Swap Nodes in PairsGiven a linked list, swap every two adjacent nodes and return its head.For example,Given 1->2->3->4, you should return the list as 2->1->4->3.Your algorithm should use

2015-02-01 16:56:41 832

LeetCode book——CleanCodeHandbook_v1.0.1

2014-12-22

spark源码分析_20140521

Spark 源码分析出自他人：王联辉[email protected] 这里只是搬运工，1分造福大家。很不错的资源，大家可以查考！

2014-05-22

Codeblocks 12.11 汉化包，这是真正的12.11的汉化，网上现在所谓的12.11汉化包基本上都是10.05的汉化。这是真正的12.11的汉化。把解压后的locale文件夹考到codeblocks/share/codeblocks下，然后在codeblocks里找到settings->environment settings->view->Internationalization选择chinese

2013-12-21

2013中国大数据技术大会PPT——Big Data in Cloud

【大数据架构与系统】VMware主管工程师堵俊平分享了大数据5点趋势：Hadoop 2.0和YARN在大数据生态系统中扮演资源管理的核心角色；MR不够好，Tez，Spark可能是替代者；HDFS努力支持更多的业务场景；更多的基于Hadoop的SQL引擎，如Drill、 Impala、Stinger；企业级服务，安全、HA、QoS等。

2013-12-13

2013中国大数据技术大会PPT——中国移劢大数据应用实践

【智能交通与大数据技术峰会】中国移动研究院专家，中国移动通信研究院云计算系统部大数据产品开发室技术经理徐萌表示移动互联网用户流量激增，手机数据化、宽带化趋势明显，亟需深挖大数据价值。移动的大云实验室在BC-Hadoop上在做搭建开源站点和开源合作方面的工作。

2013-12-12

2013中国大数据技术大会PPT——腾讯大规模Hadoop集群实践

【大数据架构与系统】腾讯数据中心资深专家翟艳堂分享了腾讯建立大规模Hadoop集群的过程，首先要解决单点问题，将JobTracker分散化，做NameNode高可用。在业务选型方面，选择了成熟度更高的Facebook开源的Corona。

2013-12-12

2013中国大数据技术大会PPT——阿里搜索流计算技术

【大数据技术】阿里搜索事业部高级技术专家王峰介绍了一淘全网商品搜索系统架构、全网商品离线处理流程。本次大会是一淘第一次从基本概念、拓扑结构、消息管理、进度管理、编程接口等方面对外来介绍iSteam的计算模型。

2013-12-12

2013中国大数据技术大会PPT——阿里大数据应用平台

【大数据应用】阿里巴巴数据平台架构师刘昌钰，讲述了阿里大数据应用平台的业务流程：数据导入、数据开发、数据生产、数据回流、元数据中心、数据质量中心。阿里每天要处理的数据非常惊人，仅在日志中心，日采集40TB数据，峰值1GB/s。

2013-12-12

2013中国大数据技术大会PPT

2013-12-12

2013中国大数据技术大会PPT——360超大规模HBASE集群的改进

【大数据技术主题论坛】奇虎360技术经理赵健博介绍目前360搜索、安全、监控等业务都使用了HBase集群，同时重点介绍了奇虎360近一年来结合业务对HBase作出的改进，如针对集群大、Region多致使启动时间过长进行的优化，同时还分享了专属MetaServer、Scan、保护模式、索引加载等方面的调优。

2013-12-12

Hadoop技术内幕：深入解析YARN架构设计与实现原理.迷你书

Hadoop技术内幕：深入解析YARN架构设计与实现原理迷你书（资深Hadoop技术专家董西成撰写，ChinaHadoop和51CTO等联袂推荐！从应用角度系统讲解YARN的使用方法和技巧，从源码角度分析YARN的架构设计和实现原理）《Hadoop技术内幕：深入解析YARN架构设计与实现原理》是“Hadoop技术内幕”系列的第3本书，前面两本分别对Common、HDFS和MapReduce进行了深入分析和讲解，赢得了极好的口碑，Hadoop领域几乎人手一册，本书则对YARN展开了深入的探讨，是首部关于YARN的专著。仍然由资深Hadoop技术专家董西成执笔，根据最新的Hadoop 2.0版本撰写，权威社区ChinaHadoop鼎力推荐。　　《Hadoop技术内幕：深入解析YARN架构设计与实现原理》从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架（MapReduce、Tez、Storm、Spark），以及多个类YARN的开源资源管理系统（Corona和Mesos）；从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理，以及各种计算框架的实现细节。　　《Hadoop技术内幕：深入解析YARN架构设计与实现原理》共四部分13章：第一部分（第1~2章）主要介绍了如何获取、阅读和调试Hadoop的源代码，以及YARN的设计思想、基本架构和工作流程；第二部分（第3~7章）结合源代码详细剖析和讲解了YARN的第三方开源库、底层通信库、服务库、事件库的基本使用和实现细节，详细讲解了YARN的应用程序设计方法，深入讲解和分析了ResourceManager、资源调度器、NodeManager等组件的实现细节；第三篇（第8~10章）则对离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark进行了详细的讲解；第四部分（第11~13章）首先对Facebook Corona和Apache Mesos进行了深入讲解，然后对YARN的发展趋势进行了展望。附录部分收录了YARN安装指南、YARN配置参数以及Hadoop Shell命令等非常有用的资料。目录前　言第一部分　准备篇第1章　环境准备 1.1　准备学习环境 1.1.1　基础软件下载 1.1.2　如何准备Linux环境 1.2　获取Hadoop源代码 1.3　搭建Hadoop源代码阅读环境 1.3.1　创建Hadoop工程 1.3.2　Hadoop源代码阅读技巧 1.4　Hadoop源代码组织结构 1.5　Hadoop初体验 1.5.1　搭建Hadoop环境 1.5.2　Hadoop Shell介绍 1.6　编译及调试Hadoop源代码 1.6.1　编译Hadoop源代码 1.6.2　调试Hadoop源代码 1.7　小结第2章　YARN设计理念与基本架构 2.1　YARN产生背景 2.1.1　MRv1的局限性 2.1.2　轻量级弹性计算平台 2.2　Hadoop基础知识 2.2.1　术语解释 2.2.2　Hadoop版本变迁 2.3　YARN基本设计思想 2.3.1　基本框架对比 2.3.2　编程模型对比 2.4　YARN 基本架构 2.4.1　YARN基本组成结构 2.4.2　YARN通信协议 2.5　YARN工作流程 2.6　多角度理解YARN 2.6.1　并行编程 2.6.2　资源管理系统 2.6.3　云计算 2.7　本书涉及内容 2.8　小结第二部分　YARN核心设计篇第3章　YARN基础库 3.1　概述 3.2　第三方开源库 3.2.1　Protocol Buffers 3.2.2　Apache Avro 3.3　底层通信库 3.3.1　RPC通信模型 3.3.2　Hadoop RPC的特点概述 3.3.3　RPC总体架构 3.3.4　Hadoop RPC使用方法 3.3.5　Hadoop RPC类详解 3.3.6　Hadoop RPC参数调优 3.3.7　YARN RPC实现 3.3.8　YARN RPC应用实例 3.4　服务库与事件库 3.4.1　服务库 3.4.2　事件库 3.4.3　YARN服务库和事件库的使用方法 3.4.4　事件驱动带来的变化 3.5　状态机库 3.5.1　YARN状态转换方式 3.5.2　状态机类 3.5.3　状态机的使用方法 3.5.4　状态机可视化 3.6　源代码阅读引导 3.7　小结 3.8　问题讨论第4章　YARN应用程序设计方法 4.1　概述 4.2　客户端设计 4.2.1　客户端编写流程 4.2.2　客户端编程库 4.3　ApplicationMaster设计 4.3.1　ApplicationMaster编写流程 4.3.2　ApplicationMaster编程库 4.4　YARN 应用程序实例 4.4.1　DistributedShell 4.4.2　Unmanaged AM 4.5　源代码阅读引导 4.6　小结 4.7　问题讨论第5章　ResourceManager剖析 5.1　概述 5.1.1　ResourceManager基本职能 5.1.2　ResourceManager内部架构 5.1.3　ResourceManager事件与事件处理器 5.2　用户交互模块 5.2.1　ClientRMService 5.2.2　AdminService 5.3　ApplicationMaster管理 5.4　NodeManager管理 5.5　Application管理 5.6　状态机管理 5.6.1　RMApp状态机 5.6.2　RMAppAttempt状态机 5.6.3　RMContainer状态机 5.6.4　RMNode状态机 5.7　几个常见行为分析 5.7.1　启动ApplicationMaster 5.7.2　申请与分配Container 5.7.3　杀死Application 5.7.4　Container超时 5.7.5　ApplicationMaster超时 5.7.6　NodeManager超时 5.8　安全管理 5.8.1　术语介绍 5.8.2　Hadoop认证机制 5.8.3　Hadoop授权机制 5.9　容错机制 5.9.1　Hadoop HA基本框架 5.9.2　YARN HA实现 5.10　源代码阅读引导 5.11　小结 5.12　问题讨论第6章　资源调度器 6.1　资源调度器背景 6.2　HOD调度器 6.2.1　Torque资源管理器 6.2.2　HOD作业调度 6.3　YARN资源调度器的基本架构 6.3.1　基本架构 6.3.2　资源表示模型 6.3.3　资源调度模型 6.3.4　资源抢占模型 6.4　YARN层级队列管理机制 6.4.1　层级队列管理机制 6.4.2　队列命名规则 6.5　Capacity Scheduler 6.5.1　Capacity Scheduler的功能 6.5.2　Capacity Scheduler实现 6.6　Fair Scheduler 6.6.1　Fair Scheduler功能介绍 6.6.2　Fair Scheduler实现 6.6.3　Fair Scheduler与Capacity Scheduler对比 6.7　其他资源调度器介绍 6.8　源代码阅读引导 6.9　小结 6.10　问题讨论第7章　NodeManager剖析 7.1　概述 7.1.1　NodeManager基本职能 7.1.2　NodeManager内部架构 7.1.3　NodeManager事件与事件处理器 7.2　节点健康状况检测 7.2.1　自定义Shell脚本 7.2.2　检测磁盘损坏数目 7.3　分布式缓存机制 7.3.1　资源可见性与分类 7.3.2　分布式缓存实现 7.4　目录结构管理 7.4.1　数据目录管理 7.4.2　日志目录管理 7.5　状态机管理 7.5.1　Application状态机 7.5.2　Container状态机 7.5.3　LocalizedResource状态机 7.6　Container生命周期剖析 7.6.1　Container资源本地化 7.6.2　Container运行 7.6.3　Container资源清理 7.7　资源隔离 7.7.1　Cgroups介绍 7.7.2　内存资源隔离 7.7.3　CPU资源隔离 7.8　源代码阅读引导 7.9　小结 7.10　问题讨论第三部分　计算框架篇第8章　离线计算框架MapReduce 8.1　概述 8.1.1　基本构成 8.1.2　事件与事件处理器 8.2　MapReduce客户端 8.2.1　ApplicationClientProtocol协议 8.2.2　MRClientProtocol协议 8.3　MRAppMaster工作流程 8.4　MR作业生命周期及相关状态机 8.4.1　MR作业生命周期 8.4.2　Job状态机 8.4.3　Task状态机 8.4.4　TaskAttempt状态机 8.5　资源申请与再分配 8.5.1　资源申请 8.5.2　资源再分配 8.6　Container启动与释放 8.7　推测执行机制 8.7.1　算法介绍 8.7.2　推测执行相关类 8.8　作业恢复 8.9　数据处理引擎 8.10　历史作业管理器 8.11　MRv1与MRv2对比 8.11.1　MRv1 On YARN 8.11.2　MRv1与MRv2架构比较 8.11.3　MRv1与MRv2编程接口兼容性 8.12　源代码阅读引导 8.13　小结 8.14　问题讨论第9章　DAG计算框架Tez 9.1　背景 9.2　Tez数据处理引擎 9.2.1　Tez编程模型 9.2.2　Tez数据处理引擎 9.3　DAG Master实现 9.3.1　DAG编程模型 9.3.2　MR到DAG转换 9.3.3　DAGAppMaster 9.4　优化机制 9.4.1　当前YARN框架存在的问题 9.4.2　Tez引入的优化技术 9.5　Tez应用场景 9.6　与其他系统比较 9.7　小结第10章　实时/内存计算框架Storm/Spark 10.1　Hadoop MapReduce的短板 10.2　实时计算框架Storm 10.2.1　Storm编程模型 10.2.2　Storm基本架构 10.2.3　Storm On YARN 10.3　内存计算框架Spark 10.3.1　Spark编程模型 10.3.2　Spark基本架构 10.3.3　Spark On YARN 10.3.4　Spark/Storm On YARN比较 10.4　小结第四部分　高级篇第11章　Facebook Corona剖析 11.1　概述 11.1.1　Corona的基本架构 11.1.2　Corona的RPC协议与序列化框架 11.2　Corona设计特点 11.2.1　推式网络通信模型 11.2.2　基于Hadoop 0.20版本 11.2.3　使用Thrift 11.2.4　深度集成Fair Scheduler 11.3　工作流程介绍 11.3.1　作业提交 11.3.2　资源申请与任务启动 11.4　主要模块介绍 11.4.1　ClusterManager 11.4.2　CoronaJobTracker 11.4.3　CoronaTaskTracker 11.5　小结第12章　Apache Mesos剖析 12.1　概述 12.2　底层网络通信库 12.2.1　libprocess基本架构 12.2.2　一个简单示例 12.3　Mesos服务 12.3.1　SchedulerProcess 12.3.2　Mesos Master 12.3.3　Mesos Slave 12.3.4　ExecutorProcess 12.4　Mesos工作流程 12.4.1　框架注册过程 12.4.2　Framework Executor注册过程 12.4.3　资源分配到任务运行过程 12.4.4　任务启动过程 12.4.5　任务状态更新过程 12.5　Mesos资源分配策略 12.5.1　Mesos资源分配框架 12.5.2　Mesos资源分配算法 12.6　Mesos容错机制 12.6.1　Mesos Master容错 12.6.2　Mesos Slave容错 12.7　Mesos应用实例 12.7.1　Hadoop On Mesos 12.7.2　Storm On Mesos 12.8　Mesos与YARN对比 12.9　小结第13章　YARN总结与发展趋势 13.1　资源管理系统设计动机 13.2　资源管理系统架构演化 13.2.1　集中式架构 13.2.2　双层调度架构 13.2.3　共享状态架构 13.3　YARN发展趋势 13.3.1　YARN自身的完善 13.3.2　以YARN为核心的生态系统 13.3.3　YARN周边工具的完善 13.4　小结附录A　YARN安装指南附录B　YARN配置参数介绍附录C　Hadoop Shell命令介绍附录D　参考资料前言　　为什么要写这本书　　在互联网巨头的带动下，开源软件Hadoop的应用变得越来越广泛，目前互联网、金融、银行、零售等行业均在使用或者尝试使用Hadoop。IDC对未来几年中国的预测中就专门提到了大数据，其认为未来几年，会有越来越多的企业级用户试水大数据平台和应用，而这之中，Hadoop将成为最耀眼的“明星”。　　尽管Hadoop整个生态系统是开源的，但由于它包含的软件种类过多，且版本升级过快，大部分公司，尤其是一些中小型公司，难以在有限的时间内快速掌握Hadoop蕴含的价值。此外，Hadoop自身版本的多样化也给很多研发人员带来了很大的学习负担，尽管当前市面上已有很多参考书籍，但遗憾的是，能够深入剖析Hadoop内部实现细节的书籍少之又少，而本书则尝试弥补这一缺憾。本书是笔者继《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》之后的又一本剖析Hadoop内幕的书籍。　　本书介绍的YARN（Yet Another Resource Negotiator）系统是Hadoop 2.0新增加的一个子项目（与Common、MapReduce和HDFS三个分支并列），它的引入使得分布式计算系统进入平台化时代，即各种计算框架可以运行在一个集群中，由资源管理系统进行统一管理和调度，它们共享整个集群中的资源进而提高资源利用率。　　本书以Hadoop 2.0为基础，从基本概念、程序设计和内部实现等方面深入剖析了Hadoop YARN。本书重点分析了YARN的核心实现以及运行在YARN上的计算框架，其中，核心实现包括基础库、编程接口、ResourceManager实现、资源调度器实现、NodeManager实现等，而计算框架则包括离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark等。书中不仅详细介绍了YARN各个组件和计算框架的内部实现原理，而且结合源代码进行了深入剖析，使读者可以快速、全面地学习Hadoop YARN设计原理和实现细节。　　读者对象　　（1）Hadoop二次开发人员　　由于在扩展性、容错性和稳定性等方面的诸多优点，Hadoop已被越来越多公司采用，而为了减少开发成本，大部分公司在Hadoop基础上进行二次开发，以打造属于公司内部的Hadoop平台。对于这部分Hadoop二次开发人员，深入而又全面地了解Hadoop的设计与实现细节是修改Hadoop内核的前提，而本书可帮助这部分读者快速而又全面地了解Hadoop实现细节。　　（2）Hadoop应用开发人员　　如果要利用Hadoop进行高级应用开发，仅掌握Hadoop基本使用方法是远远不够的，必须对Hadoop框架的设计原理、架构和运作机制有一定的了解。对这部分读者而言，本书将带领他们全面了解Hadoop的设计和实现，加深对Hadoop框架的理解，提高开发水平，从而编写出更加高效的应用程序。　　（3）Hadoop运维工程师　　对于一名合格的Hadoop运维工程师而言，适当地了解Hadoop框架的设计原理、架构和运作机制是十分有帮助的，这不仅可以更快地排除各种可能的Hadoop故障，也能够让Hadoop运维人员与研发人员进行更有效地沟通。通过阅读本书，Hadoop运维人员可以了解到很多从其他书中无法获取的Hadoop实现细节。　　（4）开源软件爱好者　　Hadoop是开源软件中的佼佼者，它在实现的过程中吸收了很多开源领域的优秀思想，同时也有很多值得学习的创新。尤为值得一提的是，本书分析Hadoop设计和实现的方式也许值得所有开源软件爱好者进行学习和借鉴。通过阅读本书，这部分读者不仅能领略到开源软件的优秀思想，还可以掌握分析开源软件源代码的方法和技巧，从而进一步提高使用开源软件的效率和质量。　　如何阅读本书　　本书分为四大部分（不包括附录）：　　第一部分为基础篇（第1～2章），简单地介绍Hadoop YARN的环境搭建和基本设计架构，帮助读者了解一些基础背景知识。　　第二部分为YARN核心设计篇（第3～7章），着重讲解YARN基本库、应用程序设计方法和运行时环境的实现，包括ResourceManager、NodeManager和资源调度器等关键组件的内部实现细节。　　第三部分为计算框架篇（第8～10章），主要讲解当前比较流行的可运行在YARN上的计算框架，包括离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark。　　第四部分为高级篇（第11～13章），主要介绍了几个类似于Hadoop YARN的开源资源管理系统，包括Corona、Mesos等，并总结了资源管理系统的特点及发展趋势。　　另外本书最后还添加了几个附录：附录A为YARN安装指南；附录B介绍了常见的YARN配置参数；附录C介绍了常用的Hadoop Shell命令；附录D为本书的所有参考资料，包括参考论文、Hadoop jira和网络资源等。　　Hadoop YARN是Hadoop 2.0新引入的系统，对于大部分读者而言，该系统存在很多疑惑与未知之处，而本书正是尝试全方位剖析该系统。为了能够系统化地学习YARN，推荐读者从第1章的基础理论知识开始学习。　　致谢　　感谢我的导师廖华明副研究员，是她引我进入Hadoop世界。　　感谢腾讯的蔡斌老师，正是由于他的推荐，才使得两本Hadoop书的出版成为可能。　　感谢机械工业出版社华章公司的杨福川老师和孙海亮老师在这一年多的时间中始终支持我的写作，他们的鼓励和帮助使我顺利完成了本书。　　感谢何鹏、姜冰、郑伟伟、战科宇、周礼、刘晏辰、王群等人给我提供的各种帮助。　　最后感谢我的父母，感谢他们的养育之恩，感谢兄长的鼓励和支持，感谢他们时时刻刻给我信心和力量！感谢我的女朋友颛悦对我生活的细心照料与琐事上的宽容。　　谨以此书献给我最亲爱的家人，以及众多热爱Hadoop的朋友们！　　董西成　　于北京媒体评论　　大数据的理论和价值逐渐得到了社会各界的认可，各种各样的大数据应用系统应运而生，正在创造性地解决着不同使用场景下的问题。在大数据应用越来越多样化的同时，对提供支撑的基础技术平台提出了更高的要求。Hadoop是目前市场接受程度最高的大数据技术平台之一，在大量有代表性的Hadoop 1.x用户使用体验和反馈的基础上，广受关注的Hadoop 2.x版本在平台设计层面做出了重大改进，已于2013年10月正式发布。　　YARN是Hadoop 2.x的核心部分。它作为新一代的资源管理系统，不仅支持MapReduce计算框架，还可以支持流式计算框架、图计算框架、内存迭代计算框架等，极大地扩展了Hadoop的使用场景，提高了Hadoop集群的利用效率。董西成先生理论功底深厚，实践经验丰富，本书可以帮助大家快速了解和学习YARN。　　——谢磊　北京小象科技有限公司执行董事/ChinaHadoop技术社区负责人

2013-12-12

hadoop集群建立

hadoop集群建立，从准备工作到hadoop配置，再到hadoop的启动。。。 1. 准备工作 1.1. 准备机器：一台(注意只有一台)master，若干台slave（slaves数量可变），配置每台机器的/etc/hosts保证各台机器之间通过机器名可以互访。 1.2. Linux所需软件: JavaTM1.5.x以上，必须安装，建议选择Sun公司发行的Java版本。 Ssh。必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。 1.3. 免密码ssh设置作为一个安全通信协议，使用时需要密码，因此我们要设置成为免密码登录。 2. hadoop配置 2.1. 安装安装hadoop集群通常要将安装软件解压到集群内的所有机器上，并且安装路径要一致。 2.2. 配置在配置阶段，主要编辑的配置文件有着六个在conf目录下，配置文件分别为：hadoop-env.sh，core-site.xml ，hdfs-site.xml，mapred-site.xml，master和slaves。并且安装路径要一致。 3. hadoop启动与关闭在第一次配置好hadoop集群时，必须先格式化一个新的分布式文件系统。在主节点master上面启动hadoop，主节点会启动所有从节点的hadoop。

2013-09-16

VMsvga2 v1.2.3

VMWARE FOR MAC DRIVER VMsvga2 v1.2.3！Mac OS X 的显卡驱动，完美支持Lion！支持Lion系统，有1366*768的分辨率，很适合笔记本用户使用！

2011-11-20

J2EE_Tutorial_中文版

或许你已经非常熟悉Java程序开发，但是现在，你应该进入更高一个层次，使用Java2平台企业版（J2EE）来创建企业级应用程序。《The J2EETM Tutorial 中文版》以丰富的实例提供独一无二的技术指导，对于每一位在J2EE平台上开发和部署应用程序的开发人员来说，都是一本案头必备的参考手册。　　《The J2EETM Tutorial 中文版》的作者是Sun Microsystem公司Java开发小组资深的开发人员，与另一部取得空前成功的《The JavaTM Tutorial》一样，建立了与读者之间最为有效的交互途径。同时，在本书的编写过程中，也综合了大量来自于最终用户和系统设计师们的建议与反馈，保证了《The J2EETM Tutorial 中文版》能真正提供有价值的技术指导。你会发现书中使用了许多构思精巧的实例程序（包括源码）来描述J2EE关键的概念。此外，简明扼要的文字说明也有助于你快速掌握J2EE平台的多项技术，包括：　　☆ Enterprise JavaBean 　　☆ Java Servlet 　　☆ JavaServer Pages 　　☆ Java Message Service (JMS，Java消息服务) 　　☆ Java Naming and Directory Interface (JNDI，Java名字与目录接口) 　　☆ XML 　　☆ J2EE Connector Architecture （J2EE连接器架构）　　☆ JavaMail 　　☆ JDBC 　　当你准备创建自己的大型企业级应用系统时，希望求助于无以伦比的技术指导、知识和经验时，你会发现在《The J2EETM Tutorial 中文版》一书中你能找到所有的一切。　　Stephanie Bodoff, Dale Green, Kim Haase, 和Eric Jendrock是Sun Microsystem公司的专职作家，他们与Java开发人员团体（JDC）的Monica Pawlan一起编写了J2EE平台的联机文档。Beth Stearns是Computer Ease出版社的总裁。

2011-07-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

LeetCode book——CleanCodeHandbook_v1.0.1

spark源码分析_20140521

Codeblocks 12.11 汉化

2013中国大数据技术大会PPT——Big Data in Cloud

2013中国大数据技术大会PPT——中国移劢大数据应用实践

2013中国大数据技术大会PPT——腾讯大规模Hadoop集群实践

2013中国大数据技术大会PPT——阿里搜索流计算技术

2013中国大数据技术大会PPT——阿里大数据应用平台

2013中国大数据技术大会PPT

2013中国大数据技术大会PPT——360超大规模HBASE集群的改进

Hadoop技术内幕：深入解析YARN架构设计与实现原理.迷你书

hadoop集群建立

VMsvga2 v1.2.3

J2EE_Tutorial_中文版

java EE 6 api

SpeedCubingTimer002

SPEEDCUBINGTIMER

PLL-Harris Chan

PLL-Breandan Vallance-

OLL - Harris Chan 2

OLL - Harris Chan

cfop 魔方 掌中宝

CFOP学习者快速掌握角先法

CFOP 精选顺手公式 三叶虫

CFOP分阶段学习教程

Red Hat Linux6.0实用教程

CFOP 快速 顺手魔方教程

空空如也

cfop 魔方掌中宝

CFOP 精选顺手公式三叶虫

CFOP 快速顺手魔方教程