Hadoop
文章平均质量分 65
指尖以东
一个简简单单,热爱学习的程序员,希望有朝一日能长成参天大树,撑起一片蓝天
展开
-
关于RPC类型框架的初识
RPC框架概述远程过程调用协议;系统间的一种通信方式;让程序员来调用远程进程上代码的一套工具。 RPC发展历程ONC RPC (开放网络计算的远程过程调用),OSF RPC(开放软件基金会的远程过程调用) CORBA(Common Object Request Broker Architecture公共对象请求代理体系结构) DCOM(分布式组件对象模型),COM+ Java RMI .NET Re原创 2016-09-19 23:34:10 · 685 阅读 · 0 评论 -
极客学院Hadoop学习【HDFS的体系结构】
因为是在极客学院看视频学习的,所以引入的图都是极客学院视频的截图。设计目标 自动快速检测应对硬件错误 流式访问数据 转移计算比移动数据本身更划算 简单一致性模型 易购平台可移植性 这里提下master-slave模式:基于经典的命令模式,Master和Slave之间通过相互发送命令(Command)实现交互,命令是一个抽象的概念,Command可以用来分发任务,也可以用来传输数据, 这完全由业务来原创 2016-09-21 13:07:17 · 459 阅读 · 0 评论 -
极客学院Hadoop学习【MapReduce的体系结构】
简介 分布式编程架构 以数据为中心,更看重吞吐率 分为治之 Map将一个任务分解为多个子任务 Reduce将分解后多任务分布处理,并将结果汇总最终结果 体系结构图基本概念 作业(Job) 任务(Task) MapTask/ReduceTask 键值对(key/value pair) Map()、Reduce()函数的输入、输出都是生命周期提交作业: 在作业提交之前,需要对作业配置 程序代码,主要是原创 2016-09-21 14:12:40 · 403 阅读 · 0 评论