xuqiaobo的博客

转载 大数据学习笔记之七 云计算平台的关键技术

原创 大数据学习笔记之六 云计算平台面临的问题

转载 大数据学习笔记之五 数据中心的三层结构

传统的数据中心主要 依据功能进行区域划分，例如：Web、App、DB、办公区、业务区、内联区、外联区等。不同区域通过网关和安全设备互访，保证不同区域的可靠性、安全性。同时，不同区域由于具有不同功能，因此需要相互访问数据时，只要中断之间能够通信即可，并不一定要求通信双方处于同一个VLAN或二层网络。传统的数据中心网络技术，STP是二层网络中非常重要的协议。用户构建网络的时，为了保证可靠性，通常会

转载 大数据学习笔记之四 MapReduce的核心思想

1）将大数据并行处理问题分而治之，即将一个大数据通过一定的数据划分方法，分成多个较小的具有同样计算过程的数据块，数据块之间不存在依赖关系，将每一个数据块分给不同的节点去处理，最后将处理的结果进行汇总2）上升到抽象语言模型Map和Reduce，将对大量顺序式数据元素或者记录进行扫描和对每个数据元素或记录做相应的处理并获得中间结果信息的两个过程抽象为Map操作；将对中间结果进行收集整理和产生最终结

原创 大数据学习笔记之三 大数据其他特征

原创 大数据学习笔记之2~大数据特征

原创 新型分布式架构的特点---大数据学习笔记之一

1，去中心化在一个分布式系统中，每个节点都具有高度自治的特征，节点之间彼此可以自由连接，形成新的连接单元。任何一个节点都可能成为阶段性的中心，但不具备强制性的中心控制功能。节点与节点之间的影响，会通过网络而形成非线性英国关系，这种开放式、扁平化、平等性的系统现象或结构，我们称之为去中心化。2，MPP架构（Massive Parallel Processing ，大规模并行计算）首先需要