- 博客(5)
- 收藏
- 关注
RSS订阅原创 极客学院Hadoop学习【MapReduce的体系结构】
简介分布式编程架构以数据为中心，更看重吞吐率分为治之Map将一个任务分解为多个子任务Reduce将分解后多任务分布处理，并将结果汇总最终结果体系结构图基本概念作业（Job）任务（Task） MapTask/ReduceTask键值对（key/value pair） Map()、Reduce()函数的输入、输出都是生命周期提交作业：在作业提交之前，需要对作业配置程序代码，主要是
2016-09-21 14:12:40
385
原创 极客学院Hadoop学习【HDFS的体系结构】
因为是在极客学院看视频学习的，所以引入的图都是极客学院视频的截图。设计目标自动快速检测应对硬件错误流式访问数据转移计算比移动数据本身更划算简单一致性模型易购平台可移植性 这里提下master-slave模式：基于经典的命令模式，Master和Slave之间通过相互发送命令(Command)实现交互，命令是一个抽象的概念，Command可以用来分发任务,也可以用来传输数据, 这完全由业务来
2016-09-21 13:07:17
445
原创 Git学习01
最近跟着另一个大数据团队学习，他们用到了Git，之前我只用过SVN，所以现在来简单的学习下Git。Git历史简介和SVN比较为何要使用Git关于版本控制本地版本控制系统集中化的版本控制系统分布式版本控制系统Git历史简介 Linux之父研发。。。感觉不重要了。和SVN比较 Git SVN 分布式 集中式 每个历史版本存储完整的文件 存储文件差异 离线完成大
2016-09-21 09:29:14
222
原创 关于RPC类型框架的初识
RPC框架概述远程过程调用协议；系统间的一种通信方式；让程序员来调用远程进程上代码的一套工具。RPC发展历程ONC RPC （开放网络计算的远程过程调用），OSF RPC（开放软件基金会的远程过程调用）CORBA（Common Object Request Broker Architecture公共对象请求代理体系结构）DCOM（分布式组件对象模型），COM+Java RMI.NET Re
2016-09-19 23:34:10
665
原创 JDK1.8环境变量配置
环境变量的配置往往接触的比较少，不经意间就忘记了，我的三秒记忆还是需要用文字来记录一下！Java配置环境变量下载需要的JDK版本 下载并安装好后，项目如下结构： 配置环境变量 新建环境变量JAVA_HOME 添加环境变量PATH 命令行窗口检查是否成功 然后在cmd窗口输入java -version命令，如下图，即表示成功
2016-09-19 23:14:16
246
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人