大数据之路-数据中台-概述(1)

什么是数据中台

数据中台是国内学者提出的概念,它的技术理念来源于国外的一些开源架构,然而国外没有数据中台厂商,常见赛道如图所示,包括数据采集、数据管理、数据可视化、数据分析、数据治理等。国内的做法一般是端到端全部覆盖,因此逐渐形成市场认知中的数据中台,个人倾向于将数据中台理解为解决企业数据问题,释放企业数据价值的一套端到端的解决方案。
在这里插入图片描述

数据中台玩家

数据中台赛道的玩家大致可分为公有云厂商、数字化解决方案供应商、数据智能公司、独立中台开发商等,例如:
1、公有云厂商:阿里云、腾讯云、华为云、AWS、Azure
2、数字化解决方案提供商:元年科技、用友、金蝶、IBM
3、数据智能公司:明略科技、星环科技、神策数据
4、独立中台开发商:袋鼠云、数澜科技、云徒科技、滴普科技、奇点云、网易

数据中台核心能力

构建数据中台构建一般以服务+产品的方式交付,开发商通过在行业上沉淀的方法经验并结合平台或工具的能力帮助企业把数据持续用起来。当前市场上平台的能力越来越趋于一致,以Dataworks平台为例,核心能力包含数据集成、规范设计、数据开发、数据治理、数据分析、数据服务。
在这里插入图片描述

数据中台趋势

早期由于国内的生态不是很成熟,大多数企业希望厂商能够提供端到端的服务,数据中台应用而生。在实际实施过程中,一个数据中台项目投入时间至少在半年至1年,因此时间成本和投入成本都非常高,而本身很难直接看到效益,企业在对待数据中台的建设上会更加理智和谨慎。
如今,随之大数据生态的完善,企业认知的提高,数据中台已不再是一个风口,根据Gartner最新发布的ICT Hype Cycle,数据中台已经从波峰位置右移了一大段。
在这里插入图片描述

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大数据存储方式概述 随着信息社会的发展,越来越多的信息被数据化,尤其是伴随着Internet的发展,数 据呈爆炸式增长。从存储服务的发展趋势来看,一方面,是对数据的存储量的需求越来 越大,另一方面,是对数据的有效管理提出了更高的要求。首先是存储容量的急剧膨胀,从 而对于存储服务器提出了更大的需求;其次是数据持续时间的增加。最后,对数据存储 的管理提出了更高的要求。数据的多样化、地理上的分散性、对重要数据的保护等等都 对数据管理提出了更高的要求。随着数字图书馆、电子商务、多媒体传输等用的不断发 展,数据从GB、TB到PB量级海量急速增长。存储产品已不再是附属于服务器的辅助设备 ,而成为互联网中最主要的花费所在。海量存储技术已成为继计算机浪潮和互联网浪潮之 后的第三次浪潮,磁盘阵列与网络存储成为先锋。 1. 海量数据存储简介 海量存储的含义在于,其在数据存储中的容量增长是没有止境的。因此,用户需要不 断地扩张存储空间。但是,存储容量的增长往往同存储性能并不成正比。这也就造成了 数据存储上的误区和障碍。海量存储技术的概念已经不仅仅是单台的存储设备。而多个 存储设备的连接使得数据管理成为一大难题.因此,统一平台的数据管理产品近年来受到 了广大用户的欢迎.这一类型产品能够整合不同平台的存储设备在一个单一的控制界面上 ,结合虚拟化软件对存储资源进行管理。这样的产品无疑简化了用户的管理。 数据容量的增长是无限的,如果只是一味的添加存储设备,那么无疑会大幅增加存储 成本。因此,海量存储对于数据的精简也提出了要求。同时,不同应用对于存储容量的 需求也有所不同,而应用所要求的存储空间往往并不能得到充分利用,这也造成了浪费 。 针对以上的问题,重复数据删除和自动精简配置两项技术在近年来受到了广泛的关注 和追捧。重复数据删除通过文件块级的比对,将重复的数据块删除而只留下单一实例。 这一做法使得冗余的存储空间得到释放,从客观上增加了存储容量。 2. 企业在处理海量数据存储中存在的问题 目前企业存储面临几个问题,一是存储数据的成本在不断地增加,如何削减开支节约 成本以保证高可用性;二是数据存储容量爆炸性增长且难以预估;三是越来越复杂的环 境使得存储的数据无法管理.企业信息架构如何适应现状去提供一个较为理想的解决方案 ,目前业界有几个发展方向。 1.存储虚拟化 对于存储面临的难题,业界采用的解决手段之一就是存储虚拟化。虚拟存储的概念实 际上在早期的计算机虚拟存储器中就已经很好地得以体现,常说的网络存储虚拟化只不 过是在更大规模范围内体现存储虚拟化的思想。该技术通过聚合多个存储设备的空间, 灵活部署存储空间的分配,从而实现现有存储空间高利用率,避免了不必要的设备开支 . 存储虚拟化的好处显而易见,可实现存储系统的整合,提高存储空间的利用率,简化 系统的管理,保护原有投资等。越来越多的厂商正积极投身于存储虚拟化领域,比如数 据复制、自动精简配置等技术也用到了虚拟化技术.虚拟化并不是一个单独的产品,而是 存储系统的一项基本功能。它对于整合异构存储环境、降低系统整体拥有成本是十分有 效的。在存储系统的各个层面和不同应用领域都广泛使用虚拟化这个概念.考虑整个存储 层次大体分为应用、文件和块设备三个层次,相应的虚拟化技术也大致可以按这三个层 次分类. 目前大部分设备提供商和服务提供商都在自己的产品中包含存储虚拟化技术,使得用 户能够方便地使用。 2.容量扩展 目前而言,在发展趋势上,存储管理的重点已经从对存储资源的管理转变到对数据资 源的管理。随着存储系统规模的不断扩大,数据如何在存储系统中进行时空分布成为保 证数据的存取性能、安全性和经济性的重要问题。面对信息海量增长对存储扩容的需求 ,目前主流厂商均提出了各自的解决方案.由于存储现状比较复杂,存储技术的发展业界 还没有形成统一的认识,因此在应对存储容量增长的问题上,尚存在很大的提升空间。 技术是发展的,数据的世界也是在不断变化的过程中走向完美。企业信息架构的"分"与 "合"的情况并不绝对.目前、出现了许多的融合技术,如 NAS与SAN的融合,统一存储网等等.这些都将对企业信息架构产生不同的影响。至于到底 采用哪种技术更合适,取决于企业自身对数据的需求。 3. 海量数据存储技术 为了支持大规模数据的存储、传输与处理,针对海量数据存储目前主要开展如下三个 方向的研究: 1. 虚拟存储技术 存储虚拟化的核心工作是物理存储设备到单一逻辑资源池的映射,通过虚拟化技术, 为用户和应用程序提供了虚拟磁盘或虚拟卷,并且用户可以根据需求对它进行任意分割 、合并、重新组合等操作,并分配给特定的主机或应用程序,为用户隐藏或屏蔽了具体的 物理设备的各种物理特性。存储虚拟化可以提高存储利用率,降低成本,简化存储管理, 而基于网络的虚拟存储技

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值