对象存储
文章平均质量分 80
杉岩数据
这个作者很懒,什么都没留下…
展开
-
Hadoop大数据存算分离方案:计算层无缝对接存储系统
上述内容体现了杉岩云原生文件存储在Hadoop大数据存算分离场景中的优势,杉岩数据推出HDFS网关服务端组件,通过原生HDFS协议直接访问存储系统,简化了对接部署过程,为用户提供了更多的选择,使基于杉岩大数据智能存储为基座的湖仓一体方案更加完善。高数据吞吐能力,无单点故障:通过杉岩云原生文件存储对HDFS网关的数据处理卸载能力,大大降低了HDFS网关的数据处理开销,提升了整体的数据吞吐能力,并结合LVS实现了对HDFS网关的去中心化、水平扩展。计算组件升级、替换时,无需考虑客户端配置,减少运维工作量。原创 2022-12-26 14:30:09 · 821 阅读 · 0 评论 -
杉岩MOS双引擎助力某动力学科研机构智能化档案管理
动力学研究——航空航天取得成功的理论基石2021年3月26日,国家航天局发布2幅由我国首次火星探测任务天问一号探测器拍摄的南、北半球火星侧身影像,这无疑是我国深空探测成果的一个缩影。自2020年7月23日成功发射以来,天问一号探测器已累计飞行两百余天,为后续着陆和巡视探测奠定了良好的基础。这一切的背后,离不开科研人员的持续攻关,而相关的动力学研究便是重要的攻关领域之一。某动力学科研机构是为适应中国航空航天事业发展需要而组建的,迄今为止已圆满完成大量航空航天飞行器相关的科研任务,获得国家级和部委级科技进步原创 2021-04-01 15:44:19 · 195 阅读 · 0 评论 -
杉岩:我有一套祖传的Ceph存储,大圣能帮我收了吗?
IT建设是一个渐进的过程,技术演进造成了企业数据中心里的存储设备参差不齐、品牌纷呈,异构环境也带来了统一管理难、数据共享不便、运维成本高等一系列难题。据统计,IT管理员平均需要花费40%的工作时间用于存储管理,平均25-50%的存储管理时间用于诊断和解决问题。杉岩MOS海量对象存储在支持纳管传统NAS存储的基础上,新增对S3存储(比如开源Ceph存储)的纳管服务。整个纳管过程无需停机,在保证业务连续的前提下,为企业IT平滑演进提供了全新的解决方案。考虑到不同客户的业务环境多样,需求各异,MOS可根据不同场原创 2021-03-02 10:02:05 · 398 阅读 · 0 评论 -
日活跃用户超6亿,扒一扒抖音背后的“黑科技”
一、粉丝经济时代,抖音成为现象级流量平台在粉丝经济时代,抓住流量意味着拥有一切可能。抖音作为现今最火的短视频平台,日活跃用户已超过6亿,每天数以亿计的视频被播放、转发和评论。如此庞大的数据规模和访问压力,没有强大且稳定的IT基础设施显然是hold不住的。即便内容创作者没有粉丝基础,但上传的视频内容足够优质,同样有机会成为点播量过千万的网红博主。这得益于平台的智能推荐机制,将短视频推送到对它感兴趣的用户面前,进而促进转发和关注,增加用户黏性。抖音火爆的背后,离不开IT发展带来的技术红利,今天我们就来扒一扒原创 2021-01-07 14:38:54 · 1478 阅读 · 0 评论 -
先于Amazon S3支持强一致性,这款产品值得了解一下
2020年最后一个月的第一天,AWS官方博客发布文章称:Amazon S3实现了原生支持强一致性。从2006年上线至今,Amazon S3一直采用最终一致性的实现方案。14年来,随着上层业务类型从简单的数据归档扩展到更为复杂的数据分析场景,存储模型由基本的写入读取升级为更多数据覆盖写且时效性要求更高的遍历读取,Amazon S3的最终一致性方案已经无法满足这一需求。尤其是以Hadoop为代表的大数据分析场景,要求数据写入之后快速读取,底层存储支持强一致性成为刚需。什么是数据一致性从数据读写的角度,如果前原创 2020-12-29 10:53:06 · 194 阅读 · 0 评论 -
杉岩:云原生时代,容器持久化存储方案选对了吗?
75%的企业部署容器应用,云原生正加速业务创新互联网的发展、云计算的出现,对传统IT带来冲击和挑战。面对数据爆炸式增长、业务种类增加、应用复杂性提高、软件迭代速度加快等一系列挑战,容器技术带来了突破性的解决方案。容器为互联网应用提供了绝佳的运行环境,颠覆了企业级应用交付的模式,敏捷开发、快速交付、可移植,成为容器行走江湖的独特标签。早期容器技术更多应用于开发测试环境,一度成为软件开发人员的乐土。而现在,随着云原生对业务创新的影响力持续显现,越来越多的企业开始将容器应用于生产环境。前者更侧重容器本身带来的原创 2020-12-21 11:28:59 · 313 阅读 · 1 评论 -
杉岩成为国内首家完成Veritas NetBackup兼容认证的企业对象存储厂商
安全风险与成本压力 备份不是锦上添花数据已成为企业最重要的资产。企业不论规模大小,确保数据安全是对IT架构的基础要求。尤其是在金融、医疗等行业,严格的法规遵从对数据安全的诉求只高不低。此外,由勒索软件引发的安全风险愈加频繁,也增加了企业的合规风险。内外部监管压力、对安全风险的担忧,让备份基础设施成为IT架构中的重要一环。数据管理复杂性带来的成本管控难题,要求CIO们重新审视现有的备份基础设施是否得当,并探索更好的替代解决方案。数字化挑战加剧 企业对备份有更高要求好的方案一定是既能解决当前问题,又能原创 2020-12-10 15:43:19 · 218 阅读 · 0 评论 -
杉岩数据:MOS对象存储为IPFS打造坚实底座
IPFS是InterPlanetary File System(星际文件系统)的简称,是一个旨在创建持久且分布式存储和共享文件的网络传输协议。IPFS网络中的节点构成了一个分布式文件系统,它为用户提供了一个支持部署和写入的平台,同时能够支持大文件的分发和版本管理。IPFS试图解决什么问题?IPFS是对中心化存储的一种补充,具有去中心化、数据不可篡改、全程留痕、可以追溯、集体维护、公开透明的特点。其目标是通过建立对等的分布式文件系统,为数据存储服务的需求者提供一个高吞吐量、按内容寻址的块存储模型,及与内容原创 2020-12-07 11:28:04 · 258 阅读 · 0 评论 -
NAS数据迁移到对象存储太麻烦?90分钟纳管1000万文件了解一下
对象存储成为海量数字底座首选移动互联网和物联网等技术把我们带入海量数据时代,数据终端呈现指数级增长,数据的类型和数量越来越多。在企业内部,新增数据中超过80%都是非结构化数据。IT初期规划中,由于数据规模较小,企业往往采用NAS存储非结构化数据。但当文件超过千万级,NAS会出现性能瓶颈,严重影响业务效率;而且数据量攀升带来的频繁扩容、升级,也增加了不小的维护工作量。对象存储无疑是应对海量非结构化数据增长的最佳选项,从实际部署情况看,越来越多的企业开始将非结构化数据切换到对象存储平台。技术演进带来异构原创 2020-12-02 16:58:11 · 492 阅读 · 0 评论 -
大规模部署容器的正确姿势——你的存储方案选对了吗?
大规模容器部署,传统存储挂载效率低容器的诞生并不是为OS抽象服务的,这是它和虚拟机最大的区别,这意味着容器天生是为应用环境的适配而服务,容器的伸缩也是基于容器的“一次性”特性。与之相对的,实现数据持久化的存储方案的特征刚好相反。容器提供的存储解决方案是利用卷接口形成数据的映射和转移,以实现数据持久化的目的,但这会造成资源的浪费和更多交互的发生。尤其对于那些无需修改文件内容的应用而言,如果底层采用块存储或文件存储,每次读取数据都需要将存储资源挂载到本地,会严重影响业务效率。免挂载和高并发能力凸显对象存储原创 2020-12-02 16:55:56 · 240 阅读 · 0 评论 -
数据存储智能化,杉岩打造新基建数字底座
过去二十年,数字经济蓬勃发展,深刻改变了人们的生产和生活方式。数据已经成为数字经济时代最核心的生产要素。移动互联网成为社会的数字基础设施,社交网络、电子商务、移动支付已经重构每一个中国人的生活方式,人工智能在各行业的应用持续拓展和深化,有望成为新一代的技术基础设施。工业互联网已在千行百业生根发芽,赋能工业企业实现数字化转型,通过对数据的采集和分析形成智能反馈,推动形成全新的生产制造和服务体系,提高企业生产效率,创造差异化的产品和增值服务,随着5G网络部署逐渐铺开,企业的智能化升级正得到进一步加速。一、数字原创 2020-09-22 10:55:30 · 786 阅读 · 0 评论 -
杉岩对象存储MOS双引擎,加速智能应用的助推器
大数据分析手段的广泛应用,助推数据快速增长,存储形态相继经历了从传统存储到大数据存储1.0再到大数据存储2.0的变迁,以应对海量数据的挑战。1.0时代解决了海量存储的问题,通过分布式架构和软件定义,让数据能够存得下。2.0时代解决了便捷管理的问题,通过多协议访问、生命周期管理、异构存储管理、混合云管理,让企业管好数据。1、存储引擎+智能引擎:更强大的MOS对象存储企业耗费资本存储数据,最终是为了利用数据价值创造经济效益。存储倘若仍是一个“傻盒子”,只能存储却不能感知数据,是无法满足企业真正需要的。企业对原创 2020-09-18 15:23:32 · 237 阅读 · 0 评论 -
对象存储的优势有哪些?
当网盘、跑游戏、做备份、存视频,云数智趋势下,对象存储过得风生水起,从BAT的公有云到企业私有云都有出镜。IDC中国SDS市场数据显示,2018年对象存储增长率超过150%,2019Q1对象存储在中国SDS市场占据19.6%的份额,实现了“very fast”的增长。对象存储(Object Storage Service,OSS),也叫基于对象的存储,是一种解决和处理离散单元的方法,可提供基于分...原创 2020-03-26 15:36:07 · 4526 阅读 · 0 评论 -
杉岩数据对象存储替换IBM FileNet,突破性能瓶颈
近年来随着非结构化数据的爆发性增长,由于IBM FileNet系统架构问题出现了明显性能瓶颈,杉岩海量对象存储系统(SandStone MOS)采用全分布式架构,针对海量文件场景提供可线性扩展的持续快速访问性能,同时提供全方位的海量数据保护支持和数据生命周期管理功能,能够完美替代IBM FileNet。非结构化数据的爆炸式增长,使有价值的信息散落在各个“孤岛”。这些非结构化信息包括办公文档、视频...原创 2019-12-20 13:57:46 · 336 阅读 · 0 评论 -
杉岩海量对象存储系统完美替代Documentum
自2006年至今十余年来,金融行业内容管理系统通常采用Documentum+DB+NAS的整体解决方案,如下图1所示,Documentum结合DB的索引能力和NAS的存储能力,向上为影像平台等业务提供文档数据的存储和检索读取服务。近年来随着非结构化数据的爆发性增长,由于Documentum系统架构问题,此套解决方案出现了明显性能瓶颈,杉岩海量对象存储系统(SandStone MOS)采用全分布...原创 2019-12-19 10:54:11 · 365 阅读 · 0 评论 -
海量图片存储解决方案
当今世界,互联网、大数据应用迅猛发展,物联网、人工智能、云计算 技术日新月异,随之而来的是各种企业和个人应用持续不断地产生亿级甚至是百亿级的海量小文件。这些小文件的元数据管理、存储性能以及访问效率等问题因而成为学术界和工业界公认的难题。例如,国内目前最大的电商网站淘宝存储的商品图片超过 200 亿张,这些文件的平均大小仅为 15KB 左右,国外著名的社交网站Facebook 存储的图片总量更是超...原创 2019-12-18 14:42:05 · 5026 阅读 · 0 评论 -
杉岩:对象存储有什么用?优势是什么?
对象存储可以简单理解为用来存储图片、音频、视频等非结构化数据的数据池。相对于主机服务器,具有读写速度快,利于分享的特点。杉岩数据在这里给大家总结了这六点。1、网站数据动静分离,大幅提升网页性能一般情况下,我们都是建议使用主机服务器和对象存储分工合作的方式来存储网站数据。主机服务器主要负责存储网站的动态数据,对象存储则用来存储网站的静态文件。从而实现网站的动静分离,当用户访问一个网站时,分别从...原创 2019-12-16 14:55:18 · 556 阅读 · 0 评论 -
对象存储,未来存储新潮流
大家众说纷“云”,其中,云存储已经成为业界最为火热的概念之一。大数据时代,没有存储或存储技术,一切都将成为“浮云”!对象存储本身是一种与传统完全不同的解决方案,类似于当前正在兴起的软件定义存储趋势。客户会利用服务器——多数情况下为商用服务器——来实现存储功能,而供应商必须理解并接受这一点。因此对于硬件供应商来说,他们需要做的不再是单纯依靠存储业务部门销售阵列或者文件存储设备,而是再加深入地推动服...原创 2019-12-16 11:06:38 · 187 阅读 · 0 评论 -
杉岩:浅谈对象存储和块存储区别
什么是块存储数据被存储在固定大小的块内。块内只存储数据本身;Address就是块唯一的识别信息;对于块存储,没有metadata. 当应用和数据都在本地的时候,性能会比较好;当应用和数据在地理位置上分离较远的时候,性能会较差。适用场景:块存储适合用于事务型数据库,可用于大部分通用业务场景下的数据存储什么是对象存储可以理解是一个海量的存储空间,最适合存储互联网上产生的图片、短视频、音频等...原创 2019-12-13 11:33:03 · 947 阅读 · 0 评论 -
对象存储是什么?看过就明白了
对象存储是什么对象存储,官方的名词解释是:对象存储是基于对象的存储,是用来描述解决和处理离散单元的方法的通用术语,这些离散单元被称作对象。说实话看完这段解释,我的内心是这样的:这时候如果再继续介绍:对象存储提供了基于分布式系统之上的对象形式的数据存储服务,并且可以通过 RESTful API 数据读写接口及丰富的SDK接口进行数据的访问……对不起,我已经想关掉这篇文章了。我们可以把它...原创 2019-12-12 10:52:15 · 15449 阅读 · 5 评论