Ultipa的博客

本文深入探讨了存储系统可扩展架构中的SAN系统和统一存储系统的扩展性技术。文章指出这些技术相互协作，为应对云计算、大数据时代的海量数据存储需求提供了坚实基础，未来仍需持续创新以突破存储容量限制。

数据中心里，存储系统是至关重要的组成部分。由于相关硬件组件与存储操作系统的多样性和复杂性，如何在保证存储稳定、安全、可靠的同时，实现灵活扩展和自服务，一直是困扰数据中心全面云化的难题。简单来说，现在的难题就在于：硬件和软件的复杂性导致存储系统像一堆零散的积木，拼起来费劲，改起来更麻烦，而云化又需要它像变形金刚一样，既能随时调整结构，又能稳稳当当不出错。那么，如何把这些零散的积木变成一个灵活又可靠的整体，就成了数据中心全面云化必须要跨过的一道坎。

领导者（Leader）：唯一写入口，负责生成事务编号（ZXID）、广播消息；跟随者（Follower）：接收并执行 Leader 的指令，参与选举。

缓存服务层的扩展性实现在避免出现单点失效的基础之上，单个节点的缓存服务器/应用服务器共享节点的方式在生产环境中都是不可取的，主要问题是如何实现多缓存节点间的负载均衡。需要指出的是，系统扩展性不能是以牺牲性能为前提的，如我们在前面的文章中讨论过的，横向扩展的系统在简单、浅层查询的高并发场景中有优势，但是在复杂、深层查询的场景中，垂直扩展的系统更具优势，因此，系统扩展过程中通常是纵向扩展与横向扩展兼而有之的。此外，还有一个问题是基于纵向扩展设计的系统的瓶颈性显而易见，因此纵向扩展的扩展性能甚为堪忧。

比资源管理更贴近最终用户的是一系列的服务，正如软件定义数据中心分层模型（见图3-25）所示，这些服务可以是普通的邮件服务、文件服务、数据库服务，也可以是针对大数据分析的Hadoop集群等服务。业界通常将5个9以上的系统称为零死机时间系统——颇具讽刺意味的是，某公有云厂商动辄鼓吹自己的系统和服务达到11个9的可用性，但是一根光纤断了、一个服务接口的故障就可以导致整个机房下线数天。最常见的高可用集群是两节点的集群，包括主节点与冗余节点各一个，也就是100%的冗余率，这也是集群构建的最小规模。

各种异构的、不同协议的网络设备之间的兼容性和互通性令人望而生畏；通过将网络状态集中到控制层，软件定义网络利用动态和自动的编程方式为网络管理者提供了灵活的配置、管理、保护和优化网络资源的方式，而且管理员可以自己编写这些程序，而不用等待新功能被嵌入供应商的设备和网络的封闭软件环境之中。对网络用户，特别是互联网厂商和电信运营商而言，软件定义网络意味着网络的优化和高效的管理，可以用于提高网络的智能性和管控能力，大幅降低网络建设与运维成本，还可以促进网络运营商真正开放底层网络，大大推动互联网业务应用的优化和创新。

需要指出的是，无论是安全还是管理与编排，它们整体的发展都是朝着大数据、快数据、流数据的方向进行，相关系统的体系架构也一定是朝着分布式、并行式的云计算架构方向前进，这其中对网络（负责数据的迁移）​、计算（负责通过对数据的计算、分析得出信息与智能）以及存储（负责数据最终的存储与管理）具有天然的需求。主流的软件定义存储技术方案通常对数据管理与数据读写进行分离，由统一的管理接口与上层管理软件交互，而在数据交互方面可以兼容各种不同的连接方式，这种方式可以很好地与传统的软硬件环境兼容，从而避免“破坏性”的改造。

我们有理由相信，假以时日，容器技术的作为会更大，不过在相当长的一段时间内容器技术更侧重于第三平台的应用，特别是无状态类应用与服务。图8展示了从容器到统一内核的精简过程，很显然，统一内核缩减了操作系统内核的足印，也简化了每个容器化应用对底层的依赖关系，由此带来了更快的部署、更高的迁移运行速度。容器计算是软件定义计算虚拟化的新锐势力，它与虚拟机技术的最大区别在于不需要虚拟化整个服务器的硬件栈，而是在操作系统层面对用户空间进行抽象化，因此我们称其为操作系统级虚拟化，以区别于之前的基于硬件虚拟化的虚拟机技术。

还有传统的硬件提供商英特尔公司，作为主要的硬件厂商之一，为了满足巨型的、可扩展的、自动管理的未来数据中心的需要，英特尔公司也提出了自己全新架构的硬件——机柜式架构(Rack Scale Architecture，RSA)。从VMware公司在2006年发布成熟的面向数据中心的VMware Server产品到如今，不仅仅是服务器的虚拟化经历了从全虚拟化到硬件支持的虚拟化，再到下一代可扩展虚拟化技术的发展，软件定义存储、软件定义网络也迅速发展起来，并成为数据中心中实用的技术。接下来，老夫将分三篇文章，就。

主要的资源被虚拟化，这只是实现了软件定义的第一步，这是因为虚拟化在解决大量现有问题的同时，也带来了一些新的挑战。

老夫之前就讲过，大数据一般被分为就是其中之一。感兴趣的朋友，可以点击以下文章进行温故知新：来自这样一个概念：数据的价值随着时间的流逝而降低，所以在事件发生后需要尽快对其进行处理，最好是在事件发生时就进行处理（即实时处理）​，对事件进行一个接一个的处理，而不是缓存起来进行批处理（如Hadoop）​。在数据流管理中，需要处理的输入数据并不被存储在可随机访问的磁盘或逻辑缓存中，它们以数据流的方式源源不断地到达。①实时性：数据流中的数据实时到达，需要实时处理。②无边界：数据流是源源不断的，大小不定。

Greenplum是业界第一个开源的MPP数据库，对想要实现OLTP和OLAP一体化大数据分析与管理系统的人来说，这是个天大的好消息。例如在大数据分析和处理中，MPP 数据库可以将数据分布在多个节点上进行并行处理，从而提高处理速度和效率。和MapReduce类似，两者都采用大规模并行处理架构对海量数据进行以大数据分析为主的工作，不同之处在于MPP通常原生支持并行的关系型查询与应用（不过这一点，Hadoop阵营也在逐渐通过在HDFS之上提供SQL查询接口来支持查询，甚至包括关系型查询）​。

数据中的不同记录可能有不同的属性和格式。当插入数据时，并不需要预先定义它们的模式（如MongoDB，后文中将会介绍）​。NoSQL和传统的关系数据库的对比如图1所示。可以看出，NoSQL数据库无数据清洗，无数据转换，无数据加载，并且在数据存储处进行分析。

大数据所面临的五大问题中最后一个是，这也是大数据问题的具象（最终展现形式）​。如果高度概括大数据的生命周期，那么可以归纳为：大数据来源+大数据技术+大数据应用，如图1所示。三者缺一不可、彼此相承。

数据科学是一个热门的领域，而数据科学家是拥有特殊技能的专业人才，负责为复杂的业务建模，从海量数据中洞察先知并找到新的商业机遇。它们结合了统计分析、模式识别、机器学习、深度学习等技术，获取数据中的信息，形成推断及洞察力，所采用的相关方法包括回归分析、关联规则（如购物篮分析）​、优化技术和仿真（如用于构建场景结果的蒙特卡洛仿真）​。商业智能的组件及功能如下。图1描述了数据科学的典型流程，涉及原始数据的采集、清洗、基于规则或模型的数据处理与分析、建模+算法、汇总+可视化、决策、大数据产品（可选）等多个环节。

以数据库交易为例，要实现ACID，最关键的部分是数据的一致性，通常的做法是通过加锁的方式，在一个读写方对某数据进行读写的时候，让其他读写方只能等待。或者对方没收到，而你的钱被扣掉了（被坑了的感觉）​。构建面向海量信息的大数据管理平台，其本质上是要实现一个可软件定义的数据中心来对下层的基础架构进行有效的管理（存储、网络、计算及相关资源的调度、分配、虚拟化、容器化等）​，以满足上层的业务与应用需求，并通过软件的灵活性与敏捷性实现高的总投资收益率(Return on Investment，ROI)。

在这样的背景下，一种新的存储管理模式开始出现，那就是软件定义存储。软件定义存储不同于存储虚拟化，软件定义存储的设计理念与软件定义网络(Software Defined Network，SDN)有着诸多相似之处。软件定义存储旨在开辟一个如下的新世界。(1)把数据中心中所有物理的存储设备转化为一个统一的、虚拟的、共享的存储资源池，其中存储设备包括专业的SAN/NAS存储产品，也包括内置存储设备和DAS。这些存储设备可以是同构的，也可以是异构的，还可以是来自不同厂商的。

2020年以前这种论调在业界颇有市场，尤其是在国内市场（尽管美国市场在2019年就有人提出了“Hadoop已死”的论调）​。因为Hadoop真的很火爆，所以尽管许多人并不清楚Hadoop到底是什么、可以用来做什么，只是看到了行业的头部企业使用了基于Hadoop的系统，于是中小型企业也一窝蜂地要使用基于Hadoop的系统处理大数据相关业务。在这种跟风的市场氛围下，如果某种大数据技术和Hadoop不沾边儿，那么客户、投资人甚至企业自己的团队成员都有可能会对该技术的前景持迟疑态度。

在科技发展史上，恐怕没有任何一种新生事物深入人心的速度堪比大数据。如果把2012年作为数据量爆发性增长的第一年，那么短短数年，大数据就红遍街头巷尾——从工业界到商业界、学术界，所有的行业都经受了大数据的洗礼。从技术的迭代到理念的更新，大数据无处不在。时至今日，在日常的生产生活中，每时每刻都有数以亿计的设备在产生巨大体量的数据……

了解云计算服务、产品与解决方案的演进历程可以从服务提供方或需求方入手。对于某些用户而言，提供远程桌面、瘦客户端（取代现有PC主机、笔记本电脑）是日常办公云化的第一步；而对于其他用户，特别是一些对于流程较注重的公司而言，他们可能会从购买SaaS化的办公自动化系统、CRM或ERP系统入手。研发型机构或IT公司接入云的方式则更有可能是直接购买虚拟化的IaaS资源，如云主机、云数据库服务等。

云计算在快速发展的过程中逐渐形成了不同的服务模式，以及不同云的对比。

了解云计算服务、产品与解决方案的演进历程可以从服务提供方或需求方入手。

云计算是一门典型的实践主导的工程学，它是一直随着业务需求、应用场景、市场热点，甚至新老技术交替而不断变化的。形成良好的机制来重新评估现有云战略、战术，并及时调整和更正留存的问题是所有云计算的拥抱者应当具有的正确姿态。

本篇内容中，老夫介绍了一些业界提高IT设备效率的做法希望能起到抛砖引玉的效果。

前面我们介绍了不同形态的云的特点，并列出了一些规则来帮助人们决策到底要选择哪种云以适应各自的业务需求。在拥抱云的过程中，从人的思维方式到团队的合作方式，再到与客户的接洽方式，甚至是整个社会的运作方式都在逐步发生巨大的变化。这一小节我们就来谈一谈变化中的云。

换一个角度来看，今天的数据中心中依然充斥着大量的第二平台甚至第一平台的那些“传统”应用，它们虽然在增长速度上（是的，这些应用依然在增长，而不是有些人说的所有的应用都是第三平台云应用，此类的说法过于绝对且不符合事实）没有新型的云应用那么惊人，但在绝对数量上依然占优势，也就是说在相当长一段可预见的时期内，政企IT部门的投资依然会在如何继续减少经营支出与如何增加面向新模式的投资之间做出分配。在相当长的一段时间内，业务部门对IT高度依赖，牺牲了敏捷性、灵活性来获得IT的支撑，IT拥有极大的控制权并提供安全保障。

我们要知道云是什么，云从哪里来、会到哪里去、可以做什么，为什么云计算在今天以至可见的未来会大行其道。之其所以然，可以更好地帮助我们预判云会朝哪个方向发展，会在何处融入、改变人们的工作与生活。

云计算本质上是提供服务的多个模块的API互相连接的程序和平台的组合。在软件定义的云计算中心中，计算、网络、存储的实现都演化为面向服务（一切即服务）的模型，各个模块的集中控制器向外提供API，使模块具备了可编程能力，而且控制器使得各个模块具备了中央控制的功能，使得自动化的工作流能够集中部署，集中控制。而且，随着各个模块的控制器的控制接口向开放性、灵活性和标准化方向发展，自动化工作流也会朝标准化方向发展，使工作流能够实现跨平台，跨厂商使用。以软件定义的存储解决方案Ceph与ViPR/CoprHD为例，两

比资源管理更贴近最终用户的是一系列的服务，可以是普通的邮件服务、文件服务、数据库服务，也可能是针对大数据分析的Hadoop集群等服务。对于配置这些服务来说，软件定义数据中心的独特优势是自动化。例如VMware的vCAC（vCloud Automation Center）就可以按照管理员预先设定的步骤，自动部署几乎任何传统服务，从数据库到文件服务器。绝大多数部署的细节都是预先定义的，管理员只需要调整几个参数就能完成配置。即使有个别特殊的服务（例如用户自己开发的服务），没有事先定义的部署流程，也可以通过图形化的

当服务器、存储和网络已经被抽象成虚拟机（含容器）、虚拟存储对象（块设备、文件系统、对象存储）、虚拟网络，这些虚拟化资源从数量上和表现形式上都与硬件有了明显的区别。这个时候，数据中心至多可以被称为“软件抽象”的，但还不是软件定义的。因为各种资源现在还无法建立起有效的联系。要统一管理虚拟化之后的资源，不仅仅是将状态信息汇总、显示在同一个界面，更进一步的，需要能够用一套统一的接口，集中管理这些资源。例如VMware的vCenter和vCloud Director系列产品或Amazon AWS的Management

我们在这里对这两种SDN实现方案分别做个简单描述。（1）以网络为中心的SDN以网络为中心的SDN的技术核心是OpenFlow协议，OpenFlow技术最早由斯坦福大学于2008年提出，它是一种通信协议，用来提供对网络设备诸如交换机和路由器的数据转发平面（Data Forwarding Plane）的访问控制。OpenFlow旨在基于现有的TCP/IP技术条件，以创新的网络互联理念解决当前架构在面对新的网络业务和服务时所产生的各种瓶颈。OpenFlow的核心思想很简单，就是将原本完全由交换机/

SDN的出现打破了传统网络设备制造商独立而封闭的控制面结构体系，将改变网络设备形态和网络运营商的工作模式，对网络的应用和发展将产生直接影响。从技术层面和应用层面来看，SDN的特点主要体现在以下几个方面：· 数据平面与控制平面的分离，在控制面对网络集中控制。通过控制面功能的集中以及数据面和控制面之间的接口规范，实现对不同厂商的设备进行统一、灵活、高效的管理和维护。数据面和控制面的分离，并且支持集中控制，就是把原来IP网络设备上的路由控制平面，集中到一个控制器上，网络设备根据控制器下发的控制表项进行

数据中心作为IT资源的集中地，是数据计算、网络传输、存储的中心，为企业和用户的业务需求提供IT支持。网络作为提供数据交换的模块，是数据中心中最为核心的基础设施之一，并直接关系到数据中心的性能、规模、可扩展性和管理性。随着云计算、物联网、大数据等众多新技术和应用的空前发展以及智能终端的爆炸式增长，以交换机为代表的传统网络设备为核心的数据中心网络已经很难适应企业和用户对业务和网络快速部署、灵活管理和控制，以及开放协作的需求，网络必须能够像用户应用程序一样可以被定制和编程，也就是软件定义的网络，也叫SDN

软件定义存储源于VMware公司于2012年提出的软件定义的数据中心（SDDC）。存储作为软件定义的数据中心不可或缺的一部分，其以虚拟化为基础，但又不仅限于虚拟化。存储虚拟化一般只能在专门的硬件设备上应用，很多设备都是经过专门的定做才能够进行存储虚拟化。而软件定义存储则没有设备限制，可以简单地理解为存储的管理程序（类似于软件定义计算中虚拟机管理程序VMM）。软件定义存储是对现有操作系统和管理软件的一个结合，能够完整实现我们对存储系统的部署、管理、监控、调整等多种要求，可以给我们的存储系统带来敏捷、高可用

虚拟化是软件定义的计算最主要的解决途径。虽然类似的技术早在IBM S/360系列的机器中已经出现过，但是真正“平民化”，走入大规模数据中心还是在VMware推出基于x86架构处理器的全虚拟化（Full-Virtualization）产品之后。随后，还有Microsoft Hyper-V、Citrix XEN、Redhat KVM（Kernel-based Virtual Machine）、Sun VirtualBox（现在改叫Oracle VM VirtualBox）、QEMU（Quick EMUl

节点设备太多、设备利用率太低、 应用设备间迁移太困难、存储需求增长得太快……应用的发展，推动了IT基础架构的发展，特别是承载着云计算与大数据应用的规模化数据中心的发展，需要面临的挑战实在太多了。于是虚拟化技术重新回到大众视野中。图：软件定义的计算演进在计算机发展的早期（20世纪60年代），虚拟化技术其实就已经出现了，当时是为了能够充分利用昂贵的大型主机的计算资源。数十年后，虚拟化技术再一次变成人们重点关注的对象，依然跟提高资源的利用效率有密不可分的关系。而且这次虚拟化技术不仅在计算节点上被广泛应

一|大数据的四大阵营是什么？二|浅谈流数据处理阵营数据流管理来自于这样一个概念：数据的价值随着时间的流逝而降低，所以需要在事件发生后尽快进行处理，最好是在事件发生时就进行处理（即实时处理），对事件进行一个接一个处理，而不是缓存起来进行批处理（如Hadoop）。在数据流管理中，需要处理的输入数据并不存储在可随机访问的磁盘或逻辑缓存中，它们以数据流的方式源源不断地到达。数据流通常具有如下特点：· 实时性（Real-time）：数据流中的数据实时到达，需要实时处理。· 无边界（U..

OLAP阵营主要有两大主流方向：一个是基于MapReduce而构建的Hadoop生态圈一个是MPP（大规模并行）数据库阵营不过MPP数据库通常兼具OLAP与OLTP的能力，所以老孙仍旧把MPP数据库与OLAP类型大数据系统并列在OLAP阵营。Hadoop的整体架构其实非常简单，用公式表达就是：Hadoop=HDFS+MapReduce其中，HDFS 负责分布式存储MapReduce 负责分布式计算HDFS分布式文件系统的设计核心理念（设计目标）有三条：（1）可以扩展到数以千计的.

[书接上篇]NewSQL数据库下面我们聊一聊颠覆了CAP“理论”的NewSQL类系统（兼具可扩展性、数据可用性与一致性）。确切地说NewSQL可以兼顾OLTP+OLAP，但在一般分类上，我们还是主要突出了它的交易、事务处理对ACID的支持上，因此归为OLTP阵营。最早的NewSQL系统是H-Store15，由美国东海岸的四所大学（Brown、CMU、MIT和Yale）在美国国家科学基金会、加拿大工程与研究委员会及Intel大数据科技中心的资助下联合开发，于2007年面世。H-Store的意义在于它真的

书接上篇：大数据四大阵营之OLTP阵营（上）](https://blog.csdn.net/Ultipa/article/details/117294528)​（4）图数据库型NoSQL – 从Neo4J到Ultipa Graph图数据库这一概念对于行外人士而言具有比较大的误导性，很多人乍一听会以为是图像处理数据库，而不会想到这里“图”是图论的“图”，也许当时命名这一类的数据库时用Topo Graph（可翻译为拓扑数据库）会更准确一些。图：哥尼斯堡大桥问题。莱昂哈德·欧拉于1736年发表的《哥尼.