云计算大数据进阶
文章平均质量分 87
XAI嬴图
这个作者很懒,什么都没留下…
展开
-
(2)探究业界云存储平台:Ceph vs. ScaleIO
在数据中心中,存储系统是管理员与IT部门最头痛的环节。因为历史的原因,五花八门的存储系统形成了一个又一个的信息孤岛(Silo),它们各自形成独立的HA与弹性设计,互不通用的监控系统与界面。有鉴于此,业界近些年的趋势开始推出统一存储(Unified Storage)产品来试图解决存储过度多样化而造成的管理与使用效率低下的问题(如之前讲过的SDS解决方案ViPR/CoprHD也可以看作一种纯软件的统一存储的解决方案)。Ceph (Technology - Ceph)就是这样一款SDS软件解决方案。它主要原创 2021-11-01 11:42:55 · 299 阅读 · 0 评论 -
探究业界云存储平台(1):开源的软件定义存储—CoprHD
在接下来的两章中,我将分别为大家介绍与分析三款软件定义存储解决方案:CoprHD、Ceph与ScaleIO,并对后两者进行性能比较分析。一、开源的软件定义存储—CoprHD了解开源的CoprHD(CoprHD),需要先了解EMC ViPR。ViPR是一款商用的、纯软件的软件定义存储解决方案,可将已有的存储环境转换为一个提供全自动存储服务的,简单易扩展的开放性平台,用来帮助用户实现全方位的软件定义数据中心。ViPR将物理存储阵列(不论是基于文件、块,还是对象的)抽象成一个虚拟的存储资源池, 以提供原创 2021-10-26 11:11:40 · 483 阅读 · 0 评论 -
如何改造传统应用为云应用?
随着云计算的深入发展,越来越多的应用是以一种云原生的方式被开发的。例如,在新的PaaS平台上开发的应用,我们通常也称之为第三平台应用或云原生应用(CNA=Cloud Native Application)。而业界普遍遇到的一个棘手的问题是还有相当大数量的传统的应用(即第二平台应用或Monolithic Application)如何去维护?例如新的CNA在云数据中心中,而传统应用通常跑在原有的数据中心中,它们对开发、测试与维护的要求不尽相同,自然也会带来不同的挑战。如何把传统应用改造为新型云生应用是我原创 2021-10-20 18:20:37 · 903 阅读 · 0 评论 -
大数据应用实践3:数据湖泊之海量视频分析
match path = (p:Person) - [{relation:"is"}] - (j:Job)wherep.name = "Areith" && j.name== "Chef"return path原创 2021-10-15 10:28:47 · 393 阅读 · 0 评论 -
大数据应用实践2: IMDG应用场景
内存数据网格(In-Memory Data Grid)技术的出现是为了应对日益增长的数据实时处理性的需求8。其中最具代表性的IMDG解决方案当属Pivotal Gemfire(其开源版本为Apache Geode)。在了解Gemfire/Geode的主要适用场景前,大家只需要记住12306在上一次票务查询系统大规模系统迭代时采用的就是Gemfire的企业版,替换了之前的IBM DB2,让查询时间提升了近1000倍!是的,2013-14年之前的12306,随便查张票可能需要20秒或更久。用了内存网格计算架构后原创 2021-10-09 10:22:44 · 377 阅读 · 0 评论 -
大数据应用实践1:基于开源架构的股票行情分析与预测
股票市场行情分析与预测一直是数据分析领域里面的重头戏,确切地说IT行业的每一次重大发展的幕后推动者以及新产品(特别是高端产品)的最先尝试者都包含金融行业,特别是证券交易市场,它符合大数据的四大特征:交易量大、频率高、数据种类多、价值高。在本小节,我为大家介绍一种完全基于开源软件构建的大数据驱动的股票行情分析与预测系统的实现。通常我们认为在一个充分共享信息的股票市场内,股票价格的短期走向是不可预测的,因此无论是技术分析(Technical Analysis)还是基本面分析(Fundamental An原创 2021-09-29 10:59:16 · 1749 阅读 · 1 评论 -
从SOA到MSA(下)
SOA的实现通常可分为四个层次,如下图所示:图:SOA频谱(Spectrum)(1)JBOWS(Just-Bunch-of-Web-Services)这是SOA实现的最初级阶段,通常是在IT部门而非业务部门主导下以一种近乎随机、非计划的模式生产出一堆以功能为导向的服务,而服务之间的协作、稳定性、可用性等通常难以保证。(2)面向服务的集成(Service-Oriented Integration)SOI是JBOWS的进阶模式,这种模式的特点是服务合同(Service Contrac原创 2021-09-09 14:11:13 · 212 阅读 · 0 评论 -
从SOA到MSA(上)
纵览云计算与大数据时代的各类技术框架与系统体系架构,它们的共同特征是注重可扩展性、敏捷性与弹性,以集群的整体业务(数据)处理能力及综合服务提供的能力来弥补单一节点的性能劣势,以及对因节点故障、上下线等因素的抗干扰能力强。如果我们再结合各种XaaS平台以及SDX(软件定义的一切)框架,它们的共性可以简单归纳为:分层抽象化架构,层与层之间通过服务来通信,底层向上提供可被调用的服务接口。以上两段话高度概括起来其实就是SOA(面向服务的架构=Service-Oriented Architecture)。原创 2021-09-08 12:00:18 · 287 阅读 · 0 评论 -
可扩展存储系统(下)
【书接上文】(3)SAN系统的扩展性SAN存储系统与NAS存储系统的主要区别并不是在底层存储阵列上,而是在与服务器的网络连接方式与默认通信协议支持上。SAN系统一般支持iSCSI、Fibre-Channel、Fiber-Channel-over-Ethernet等主流通信协议。NAS系统则主要支持NFS、CIFS等协议。以下图为例,Unified NAS(统一的NAS存储阵列)中的每个NAS机头具有连接到IP网络的前端以太网端口。前端端口提供客户端连接并服务于文件I/O请求。每个NAS机头都有后原创 2021-09-01 10:27:42 · 398 阅读 · 0 评论 -
可扩展存储系统(上)
存储作为数据中心的重要组成部分之一,由于相关硬件组件与存储操作系统的多样性和复杂性,如何在保证存储稳定、安全、可靠的同时,实现灵活扩展和自服务,一直是困扰数据中心全面云化的难题。如下图所示,常见的存储系统通常可分为直连存储系统(DAS)、网络连接存储系统(NAS)与存储网络系统(SAN)三大类。图: 存储系统的三大类针对这三类存储系统去实现扩展的方式各不相同,我们在下文中分别讨论一下如何对它们实现可扩展性。(1)DAS系统的扩展性DAS系统的扩展性通常通过软件的方式来实现,确.原创 2021-08-31 16:26:40 · 957 阅读 · 0 评论 -
可扩展数据库(下)
数据库层的扩展是典型云应用五层架构中的第四层,也是最复杂的一层(有人认为可扩展存储系统更为复杂,笔者以为,取决于业务应用模式。对于存在复杂交易处理类型的应用,其数据库层实现的挑战显然更高;而对于单纯的海量数据简单事件处理型应用,数据库层甚至不需要存在,而云存储层的实现则更为复杂)。数据库扩展大体有如下四类解决方案:·Scale-Up ·Master-Slaves(一主多仆)读代理模式·Master-Master模式 ·Sharding模式【书接上文】以下图中的分布式数据库为例,我们可以如原创 2021-08-24 11:46:54 · 181 阅读 · 0 评论 -
可扩展数据库(上)
数据库层的扩展是典型云应用五层架构中的第四层,也是最复杂的一层(有人认为可扩展存储系统更为复杂,笔者以为,取决于业务应用模式。对于存在复杂交易处理类型的应用,其数据库层实现的挑战显然更高;而对于单纯的海量数据简单事件处理型应用,数据库层甚至不需要存在,而云存储层的实现则更为复杂)。数据库扩展大体有如下四类解决方案:·Scale-Up·Master-Slaves(一主多仆)读代理模式·Master-Master模式·Sharding模式(1)Scale-Up:垂直扩展垂直扩展法原创 2021-08-23 15:09:55 · 361 阅读 · 0 评论 -
云应用、服务的“5层”架构
一套完整的云应用、服务架构通常可以分为5层。·负载均衡层(Load Balancing)·应用服务层(Application Server)·缓存服务层(Caching Server)·数据库服务层(Database Server)·云存储层(Cloud Storage)图:云应用的五层架构(1)负载均衡负载均衡层(Load-Balancing Layer,LB Layer)的实现是5层架构中最早面对用户的,也是相对最容易实现的。通常为了避免SPOF,至少设置两台LB原创 2021-08-19 14:03:48 · 1631 阅读 · 0 评论 -
可扩展系统的“9不”原则和“5个”衡量维度
构建可扩展系统的目的是实现可扩展的应用与服务。首先我们了解一下可扩展应用与服务的“9不”原则。·不要完全依赖本地资源:数据必须实现云(网络)存储,Hadoop HDFS就是一个很好的例子,三份数据拷贝(同机架不同主机两份、跨机架第三份)以保证高可用性。·服务尽量避免强依赖性:服务的强依赖性指的是当B服务依赖于A,而A下线后直接导致B服务的下线。在第三平台的架构设计中我们应把B服务设计为当A不可用时,采用其他渠道继续提供服务,例如从CDN或缓存区中保存的数据继续提供服务,以此来提高用户体验(同时在原创 2021-08-17 11:16:40 · 626 阅读 · 0 评论