2014年11月_thomas0yang

11月

原创 HDFS工作解析

一、概述一：NameNode1：主要功能提供名称查询服务，内嵌jetty服务器；NameNode主要保存metadata信息；2：metadata信息包括：文件的权限，某一上传文件包含哪些Block块，Bolck块有保存在哪些DataNode上面；3：DataNode在启动时候也会上报block信息（此功能一些作用后面会写到）；4：NameNode的me

2014-11-17 16:24:56 1309

原创 Hadoop RPC框架

1、RPC框架概述1.1 RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。1.2

2014-11-17 16:18:00 12781

原创 MapReduce作业shuffle分析

1、流程图2、流程概要2.1 map输出内存2.2 内存到硬盘之前，hash分区、每个分区中内排序、有combiner则运行2.3 硬盘数据合并merge2.4 reduce数据fetch map的输出文件2.5 复制来的输出文件合并merge2.6 最后reduce3、流程解析3.1 map端1) 当Map开始

2014-11-17 16:14:01 1071

原创 MapReduce作业运行机制

1、mapreduce的体系结构2、mapreduce作业运行机制2.1运行图2.2运行解析2.2.1作业的提交1)此方法调用submit(). 在Submit()方法里面连接JobTracker，即生成一个内部JobSummitter（实际上是new JobClient(),在new JobClient()里面生成一个JobSubm

2014-11-17 16:10:24 5556

原创 HDFS理论分析

1.1设计前提和目标：１）硬件错误是常态而不是异常。错误检测并快速自动恢复是HDFS的最核心设计目标２）流式数据访问。运行在HDFS上的应用主要是以流式读为主，做批量处理；更注重数据访问的高吞吐量。３）超大规模数据集。HDFS的一般企业级的文件大小可能都在TB级别或者PB级别，支持大文件存储，而且提供整体上高的数据传输带宽，一个单一的HDFS实例应该能支撑数以千万计的文件，并且能在一个

2014-11-17 15:59:33 6328

sql解析代码_bak

数据仓库计算脚本SQL分析，生成数据血缘

2015-12-21

sql解析代码

SQL解析工具，具体参照 http://blog.csdn.net/thomas0yang/article/details/49449723

2015-12-14

分布式系统原理介绍

分布式系统原理介绍分布式系统原理介绍系统模型

2013-02-16

jd-gui-0.3.4.windows

反编译的工具，可以将编译过的CLASS文件编译还原成为Java原始文件

2012-11-12

DJ Java Decomplier破解版

DJ Java Decompiler是个反编译的工具，可以将编译过的CLASS文件编译还原成为Java原始文件，并且不需要额外安装JVM（Java Virtual Machine）或是Java SDK的工具模组即可使用。不单如此，DJJava Decompiler也兼具有Java程序编辑工具的角色，提供一些辅助功能便于程序撰写与修改

2010-11-06

jad 反编译工具

反编译class文件 jad -sjava *.class 建议用本人的另外一个分享:DJ Java Decomplier