- 博客(35)
- 收藏
- 关注
RSS订阅原创 Hadoop大数据存算分离方案：计算层无缝对接存储系统
上述内容体现了杉岩云原生文件存储在Hadoop大数据存算分离场景中的优势，杉岩数据推出HDFS网关服务端组件，通过原生HDFS协议直接访问存储系统，简化了对接部署过程，为用户提供了更多的选择，使基于杉岩大数据智能存储为基座的湖仓一体方案更加完善。高数据吞吐能力，无单点故障：通过杉岩云原生文件存储对HDFS网关的数据处理卸载能力，大大降低了HDFS网关的数据处理开销，提升了整体的数据吞吐能力，并结合LVS实现了对HDFS网关的去中心化、水平扩展。计算组件升级、替换时，无需考虑客户端配置，减少运维工作量。
2022-12-26 14:30:09
811
原创 杉岩MOS双引擎助力某动力学科研机构智能化档案管理
动力学研究——航空航天取得成功的理论基石2021年3月26日，国家航天局发布2幅由我国首次火星探测任务天问一号探测器拍摄的南、北半球火星侧身影像，这无疑是我国深空探测成果的一个缩影。自2020年7月23日成功发射以来，天问一号探测器已累计飞行两百余天，为后续着陆和巡视探测奠定了良好的基础。这一切的背后，离不开科研人员的持续攻关，而相关的动力学研究便是重要的攻关领域之一。某动力学科研机构是为适应中国航空航天事业发展需要而组建的，迄今为止已圆满完成大量航空航天飞行器相关的科研任务，获得国家级和部委级科技进步
2021-04-01 15:44:19
192
原创 杉岩：我有一套祖传的Ceph存储，大圣能帮我收了吗？
IT建设是一个渐进的过程，技术演进造成了企业数据中心里的存储设备参差不齐、品牌纷呈，异构环境也带来了统一管理难、数据共享不便、运维成本高等一系列难题。据统计，IT管理员平均需要花费40%的工作时间用于存储管理，平均25-50%的存储管理时间用于诊断和解决问题。杉岩MOS海量对象存储在支持纳管传统NAS存储的基础上，新增对S3存储（比如开源Ceph存储）的纳管服务。整个纳管过程无需停机，在保证业务连续的前提下，为企业IT平滑演进提供了全新的解决方案。考虑到不同客户的业务环境多样，需求各异，MOS可根据不同场
2021-03-02 10:02:05
396
原创 杉岩：小天才手表背后的故事，超融合数据库最佳实践
最近几年，互联网行业有个段子：在腾讯内部，虽然微信、QQ市场占有率高，地位牢不可破，但员工们整天如临大敌、战战兢兢，都在讨论小天才电话手表会不会干掉他们。可能很多人都见过这几款售价578/788/……/1978元的小天才电话手表，但如果你以为小天才卖的只是一块多功能安卓智能手表，那你就错了。小天才卖的根本不是手表，而是一张封闭交友社区的入场券，一个大型小学生MMORPG网游的买断资格。小天才现在已是小学生的第一交友平台，用上了小天才手表，加好友不需要扫二维码，只需要碰一碰手腕，就能互加好友。你只有用小天才
2021-01-13 16:04:15
642
原创 日活跃用户超6亿，扒一扒抖音背后的“黑科技”
一、粉丝经济时代，抖音成为现象级流量平台在粉丝经济时代，抓住流量意味着拥有一切可能。抖音作为现今最火的短视频平台，日活跃用户已超过6亿，每天数以亿计的视频被播放、转发和评论。如此庞大的数据规模和访问压力，没有强大且稳定的IT基础设施显然是hold不住的。即便内容创作者没有粉丝基础，但上传的视频内容足够优质，同样有机会成为点播量过千万的网红博主。这得益于平台的智能推荐机制，将短视频推送到对它感兴趣的用户面前，进而促进转发和关注，增加用户黏性。抖音火爆的背后，离不开IT发展带来的技术红利，今天我们就来扒一扒
2021-01-07 14:38:54
1464
原创 先于Amazon S3支持强一致性，这款产品值得了解一下
2020年最后一个月的第一天，AWS官方博客发布文章称：Amazon S3实现了原生支持强一致性。从2006年上线至今，Amazon S3一直采用最终一致性的实现方案。14年来，随着上层业务类型从简单的数据归档扩展到更为复杂的数据分析场景，存储模型由基本的写入读取升级为更多数据覆盖写且时效性要求更高的遍历读取，Amazon S3的最终一致性方案已经无法满足这一需求。尤其是以Hadoop为代表的大数据分析场景，要求数据写入之后快速读取，底层存储支持强一致性成为刚需。什么是数据一致性从数据读写的角度，如果前
2020-12-29 10:53:06
193
原创 杉岩：云原生时代，容器持久化存储方案选对了吗？
75%的企业部署容器应用，云原生正加速业务创新互联网的发展、云计算的出现，对传统IT带来冲击和挑战。面对数据爆炸式增长、业务种类增加、应用复杂性提高、软件迭代速度加快等一系列挑战，容器技术带来了突破性的解决方案。容器为互联网应用提供了绝佳的运行环境，颠覆了企业级应用交付的模式，敏捷开发、快速交付、可移植，成为容器行走江湖的独特标签。早期容器技术更多应用于开发测试环境，一度成为软件开发人员的乐土。而现在，随着云原生对业务创新的影响力持续显现，越来越多的企业开始将容器应用于生产环境。前者更侧重容器本身带来的
2020-12-21 11:28:59
308
1
原创 杉岩：以对象存储为底座，双中心读写加速业务提效
基于NAS的双中心架构掣肘业务发展随着监管日趋严格，为了满足数据集中治理和灵活灾备的要求，多数金融机构（尤其中小型金融机构）采用主备双中心运营架构。由于IT架构演进的历史性，现有的IT基础设施多采用传统NAS作为底层存储，本地部署NAS承载生产业务，异地部署NAS实现容灾备份。图1.基于传统NAS的双中心架构在双中心架构下，由于NAS只支持主备模式，部署在灾备中心的业务数据需要跨中心写入到主NAS，容易造成单点压力过大、带宽不足；而且读数据时同样无法本地读取，业务响应慢。另外，随着互联网业务增多，非
2020-12-14 16:50:57
241
原创 杉岩成为国内首家完成Veritas NetBackup兼容认证的企业对象存储厂商
安全风险与成本压力 备份不是锦上添花数据已成为企业最重要的资产。企业不论规模大小，确保数据安全是对IT架构的基础要求。尤其是在金融、医疗等行业，严格的法规遵从对数据安全的诉求只高不低。此外，由勒索软件引发的安全风险愈加频繁，也增加了企业的合规风险。内外部监管压力、对安全风险的担忧，让备份基础设施成为IT架构中的重要一环。数据管理复杂性带来的成本管控难题，要求CIO们重新审视现有的备份基础设施是否得当，并探索更好的替代解决方案。数字化挑战加剧 企业对备份有更高要求好的方案一定是既能解决当前问题，又能
2020-12-10 15:43:19
218
原创 杉岩数据：MOS对象存储为IPFS打造坚实底座
IPFS是InterPlanetary File System（星际文件系统）的简称，是一个旨在创建持久且分布式存储和共享文件的网络传输协议。IPFS网络中的节点构成了一个分布式文件系统，它为用户提供了一个支持部署和写入的平台，同时能够支持大文件的分发和版本管理。IPFS试图解决什么问题？IPFS是对中心化存储的一种补充，具有去中心化、数据不可篡改、全程留痕、可以追溯、集体维护、公开透明的特点。其目标是通过建立对等的分布式文件系统，为数据存储服务的需求者提供一个高吞吐量、按内容寻址的块存储模型，及与内容
2020-12-07 11:28:04
253
原创 NAS数据迁移到对象存储太麻烦？90分钟纳管1000万文件了解一下
对象存储成为海量数字底座首选移动互联网和物联网等技术把我们带入海量数据时代，数据终端呈现指数级增长，数据的类型和数量越来越多。在企业内部，新增数据中超过80%都是非结构化数据。IT初期规划中，由于数据规模较小，企业往往采用NAS存储非结构化数据。但当文件超过千万级，NAS会出现性能瓶颈，严重影响业务效率；而且数据量攀升带来的频繁扩容、升级，也增加了不小的维护工作量。对象存储无疑是应对海量非结构化数据增长的最佳选项，从实际部署情况看，越来越多的企业开始将非结构化数据切换到对象存储平台。技术演进带来异构
2020-12-02 16:58:11
488
原创 大规模部署容器的正确姿势——你的存储方案选对了吗？
大规模容器部署，传统存储挂载效率低容器的诞生并不是为OS抽象服务的，这是它和虚拟机最大的区别，这意味着容器天生是为应用环境的适配而服务，容器的伸缩也是基于容器的“一次性”特性。与之相对的，实现数据持久化的存储方案的特征刚好相反。容器提供的存储解决方案是利用卷接口形成数据的映射和转移，以实现数据持久化的目的，但这会造成资源的浪费和更多交互的发生。尤其对于那些无需修改文件内容的应用而言，如果底层采用块存储或文件存储，每次读取数据都需要将存储资源挂载到本地，会严重影响业务效率。免挂载和高并发能力凸显对象存储
2020-12-02 16:55:56
235
原创 数据存储智能化，杉岩打造新基建数字底座
过去二十年，数字经济蓬勃发展，深刻改变了人们的生产和生活方式。数据已经成为数字经济时代最核心的生产要素。移动互联网成为社会的数字基础设施，社交网络、电子商务、移动支付已经重构每一个中国人的生活方式，人工智能在各行业的应用持续拓展和深化，有望成为新一代的技术基础设施。工业互联网已在千行百业生根发芽，赋能工业企业实现数字化转型，通过对数据的采集和分析形成智能反馈，推动形成全新的生产制造和服务体系，提高企业生产效率，创造差异化的产品和增值服务，随着5G网络部署逐渐铺开，企业的智能化升级正得到进一步加速。一、数字
2020-09-22 10:55:30
773
原创 杉岩对象存储MOS双引擎，加速智能应用的助推器
大数据分析手段的广泛应用，助推数据快速增长，存储形态相继经历了从传统存储到大数据存储1.0再到大数据存储2.0的变迁，以应对海量数据的挑战。1.0时代解决了海量存储的问题，通过分布式架构和软件定义，让数据能够存得下。2.0时代解决了便捷管理的问题，通过多协议访问、生命周期管理、异构存储管理、混合云管理，让企业管好数据。1、存储引擎+智能引擎：更强大的MOS对象存储企业耗费资本存储数据，最终是为了利用数据价值创造经济效益。存储倘若仍是一个“傻盒子”，只能存储却不能感知数据，是无法满足企业真正需要的。企业对
2020-09-18 15:23:32
232
原创 IDC：混合云和软件定义是未来数字基础架构的主流模式
1、数字化转型帮助用户再后疫情时代抢占先机虽然疫情已经大体平息，但我们可能永远都不会回到疫情发生前的生活方式，在这种背景下，数字化转型会给人们的生活和工作带来更大的助力。以前我们的工作大部分是面对面开展的，但是疫情使很多人开始通过线上合作、线上会议、线上视频的方式来开展工作，而支撑这些场景的就是IT基础架构。我们观察到全球的数字化已经进入了一个新阶段，数据存储空间发生了非常大的变化，IDC过去一直在统计用户数据的增长，我们预测5年以后全球的数据是ZB级。有一个比较形象的比喻，如果把全球所有的数据都存在5
2020-09-18 15:20:40
351
原创 杉岩数据：智能化管理10亿文件，G证券是如何做到的？
证券公司每天产生的数据中80%以上是非结构化数据，持续的数据增长，证券服务向智能化、敏捷化、价值化方向发展，对后端存储提出了挑战。1、变革的动力：证券信息化升级以影像、图片、扫描件为主的非结构化数据激增，数据量从TB级向PB级跃进。每年新增大量应用，复杂性增加，海量文件的访问性能面临新挑战。机构内部业务繁杂，存在数据壁垒，需搭建统一数据平台，提高跨业务共享效率。技术演进推动应用的容器化部署，这要求存储吸收容器技术提供持久化存储服务。利用大数据的价值，借力AI实现业务创新，比如智能运维（AIOps），进
2020-05-22 14:53:19
286
原创 杉岩数据：工业视觉的智能存储之道
制造业是立国之本、兴国之器、强国之机。智能制造为中国制造业跨越发展提供了历史性机遇。人工智能与制造业深度融合所形成的新一代智能制造技术，成为新一轮工业革命的核心驱动力。在新制造环境下，工业视觉在质量管理的流程中扮演相当重要的角色。作为智能制造的“智慧之眼”，工业视觉不仅提高检测效率和准确度，进一步提升产出功率与降低查验人员的作业负荷，还可让产品的出货质量更稳定。1、工业视觉助力智能制造工业视觉是计算机视觉的一大分支，更注重广义图像信号与自动化控制方面的应用，提高生产的柔性和自动化程度。在一些不适合人工
2020-05-12 17:34:29
222
原创 对象存储的优势有哪些？
当网盘、跑游戏、做备份、存视频，云数智趋势下，对象存储过得风生水起，从BAT的公有云到企业私有云都有出镜。IDC中国SDS市场数据显示，2018年对象存储增长率超过150%，2019Q1对象存储在中国SDS市场占据19.6%的份额，实现了“very fast”的增长。对象存储（Object Storage Service，OSS），也叫基于对象的存储，是一种解决和处理离散单元的方法，可提供基于分...
2020-03-26 15:36:07
4518
原创 杉岩数据企业内容管理解决方案
随着人工智能、4G/5G技术发展，越来越多的企业利用照片、视频等方式取代现场业务办理，提升业务办理效率，同时通过这些方式记录业务处理过程，保证服务质量。而这些方式的应用，使得企业应用产生非结构化数据的来源变多，非结构化数据量也呈现爆发性增长，对这些数据的科学管理和有效开发成为企业正确决策、增强竞争力的关键。杉岩企业内容管理解决方案，帮助企业客户实现跨业务系统的非结构化数据统一存储、统一管理和价值...
2020-02-20 15:23:07
300
原创 杉岩海量图片分布式存储解决方案
随着互联网、云计算及大数据等信息技术的发展，越来越多的应用依赖于对海量数据的存储和处理，如智能监控、电子商务、地理信息等，这些应用都需要对海量图片的存储和检索。由于图片大多是小文件(80%大小在数MB以内)，以GFS、HDFS为代表的适用于流式访问大文件的分布式存储系统，若直接用来存储图片，由于元数据膨胀，在扩展性和性能方面均存在严重问题。为了解决HDFS在小文件存储方面的问题，通常的做法是先将...
2019-12-23 15:38:57
711
原创 杉岩数据对象存储替换IBM FileNet，突破性能瓶颈
近年来随着非结构化数据的爆发性增长，由于IBM FileNet系统架构问题出现了明显性能瓶颈，杉岩海量对象存储系统（SandStone MOS）采用全分布式架构，针对海量文件场景提供可线性扩展的持续快速访问性能，同时提供全方位的海量数据保护支持和数据生命周期管理功能，能够完美替代IBM FileNet。非结构化数据的爆炸式增长，使有价值的信息散落在各个“孤岛”。这些非结构化信息包括办公文档、视频...
2019-12-20 13:57:46
331
原创 某银行Documentum迁移方案
一、方案原理常规的Documentum迁移工具，如图1所示EMC原厂提供的EMA（Documentum Enterprise Migration Appliance）迁移工具，通常通过绕开Documentum的内容服务器API接口，根据Documentum内部文件对象索引规则直接访问数据库和NAS服务器来加速Documentum迁移过程，性能相比于通过API接口迁移能够提升10倍，但是每个小时也...
2019-12-19 11:48:44
375
原创 杉岩海量对象存储系统完美替代Documentum
自2006年至今十余年来，金融行业内容管理系统通常采用Documentum+DB+NAS的整体解决方案，如下图1所示，Documentum结合DB的索引能力和NAS的存储能力，向上为影像平台等业务提供文档数据的存储和检索读取服务。近年来随着非结构化数据的爆发性增长，由于Documentum系统架构问题，此套解决方案出现了明显性能瓶颈，杉岩海量对象存储系统（SandStone MOS）采用全分布...
2019-12-19 10:54:11
364
原创 海量图片存储解决方案
当今世界，互联网、大数据应用迅猛发展，物联网、人工智能、云计算 技术日新月异，随之而来的是各种企业和个人应用持续不断地产生亿级甚至是百亿级的海量小文件。这些小文件的元数据管理、存储性能以及访问效率等问题因而成为学术界和工业界公认的难题。例如，国内目前最大的电商网站淘宝存储的商品图片超过 200 亿张，这些文件的平均大小仅为 15KB 左右，国外著名的社交网站Facebook 存储的图片总量更是超...
2019-12-18 14:42:05
4988
原创 杉岩：对象存储有什么用？优势是什么？
对象存储可以简单理解为用来存储图片、音频、视频等非结构化数据的数据池。相对于主机服务器，具有读写速度快，利于分享的特点。杉岩数据在这里给大家总结了这六点。1、网站数据动静分离，大幅提升网页性能一般情况下，我们都是建议使用主机服务器和对象存储分工合作的方式来存储网站数据。主机服务器主要负责存储网站的动态数据，对象存储则用来存储网站的静态文件。从而实现网站的动静分离，当用户访问一个网站时，分别从...
2019-12-16 14:55:18
553
原创 对象存储，未来存储新潮流
大家众说纷“云”，其中，云存储已经成为业界最为火热的概念之一。大数据时代，没有存储或存储技术，一切都将成为“浮云”!对象存储本身是一种与传统完全不同的解决方案，类似于当前正在兴起的软件定义存储趋势。客户会利用服务器——多数情况下为商用服务器——来实现存储功能，而供应商必须理解并接受这一点。因此对于硬件供应商来说，他们需要做的不再是单纯依靠存储业务部门销售阵列或者文件存储设备，而是再加深入地推动服...
2019-12-16 11:06:38
184
原创 杉岩：浅谈对象存储和块存储区别
什么是块存储数据被存储在固定大小的块内。块内只存储数据本身；Address就是块唯一的识别信息；对于块存储，没有metadata. 当应用和数据都在本地的时候，性能会比较好；当应用和数据在地理位置上分离较远的时候，性能会较差。适用场景：块存储适合用于事务型数据库，可用于大部分通用业务场景下的数据存储什么是对象存储可以理解是一个海量的存储空间，最适合存储互联网上产生的图片、短视频、音频等...
2019-12-13 11:33:03
939
原创 对象存储是什么？看过就明白了
对象存储是什么对象存储，官方的名词解释是：对象存储是基于对象的存储，是用来描述解决和处理离散单元的方法的通用术语，这些离散单元被称作对象。说实话看完这段解释，我的内心是这样的：这时候如果再继续介绍：对象存储提供了基于分布式系统之上的对象形式的数据存储服务，并且可以通过 RESTful API 数据读写接口及丰富的SDK接口进行数据的访问……对不起，我已经想关掉这篇文章了。我们可以把它...
2019-12-12 10:52:15
15379
5
原创 杉岩PACS影像系统分布式存储架构
该医院创建于1999年，是深圳市政府投资建成的集医疗、教学、科研和预防为一体的现代化三级综合性医院。2017年通过三级甲等医院复审。2018年，医院年门急诊总量约292万人次，年出院病人近7.4万人次，年手术量4.9万台次。 该院在深圳有较高的知名度和认可度。行业挑战随着该医院门诊量的爆发式增长，放射科等科室新增了大量影像采集设备，PACS存储了大量的非结构化数据，原有的存储系统面临如下挑战：...
2019-12-10 14:35:50
3149
原创 杉岩数据：解读软件定义存储（SDS）及应用
虽然如今众多存储厂商都围绕软件定义存储(SDS)概念进行宣传，但业界对其并没有一个统一的标准。不过IT专家们对SDS有一个基本共识：它是由软件驱动的非专属系统，可以灵活地配置存储资源。从本质上说，软件定义存储就如同一个生态系统，它将软件从存储系统中抽离出来，放至中心存储控制器或虚拟机中。这种集中式软件是一个不受物理系统限制的共享池，可管理所有的物理和虚拟资源，并按需进行自动配置。软件可部署于服务...
2019-12-10 14:11:13
725
原创 杉岩：软件定义存储（SDS），存储新时代
软件定义存储在行业内不断的被热捧，发展至今，软件定义存储不仅仅代表着一个热门话题，更代表整个存储领域的全新发展方向。2013，“软件定义”元年对于软件定义存储，行业内没有统一的说法。当国际存储巨头EMC发布软件定义存储战略后，新闻界开始对于软件定义存储进行了大讨论。随着软件定义的数据中心，软件定义的网络，软件定义的服务器被搬上各大媒体头版头条，2013已然成为了“软件定义”元年。对于小的存储...
2019-12-10 14:08:12
406
原创 杉岩：破解海量小文件存储的大难题
导语：海量小文件的元数据管理、存储性能以及访问效率等问题是目前学术界和工业界公认的难题。杉岩海量对象存储MOS利用包括小文件聚合功能在内的独特技术，帮助用户应对存储资源浪费、效率低下等诸多挑战，成就大数据与人工智能时代的企业核心竞争力。海量小文件存储访问带来公认难题当今世界，互联网、大数据应用迅猛发展，物联网、人工智能、云计算 技术日新月异，随之而来的是各种企业和个人应用持续不断地产生亿级甚至...
2019-12-10 14:01:27
859
原创 浅谈分布式存储与传统存储之间的区别和关系
对于分布式存储一直有一个疑问：横向扩展(Scale Out)、弹性伸缩、敏捷业务、开箱即用，外加成本优势……，无不针对传统存储的“罩门”，从技术分析上看，分布式存储理应所向披靡，但为什么现实市场并不是这样呢？国产分布式存储厂商-杉岩对此有一个观点认为：分布式存储发展不会一步登天，会有一个过程。首先分布式存储会蚕食增量存储市场，然后随着用户对于技术理解的不断加深，最终将一统江湖。分布式存储称雄市场...
2019-12-06 10:44:17
6841
1
原创 杀人女魔被捕大数据立功，数据存储架构决定研判效率
11 月 28 日，身负 7 条人命，潜逃 23 年的“蛇蝎女魔”劳某枝在厦门自己工作的商场被捕。 11 月 27 日，厦门警方通过大数据研判发现，一名疑似潜逃人员劳某的女子出现在厦门某商场附近。警方将抓取到的嫌疑人照片与逃犯 20 年前的面部图片面部进行特征匹配，相似度高达 97.33% 。此结果促使警方快速展开伏击行动，于 28 日正式将嫌疑人逮捕。大数据抓逃犯的新闻近几年已屡见不鲜，最知...
2019-12-05 16:32:48
216
转载 大盘点：五大存储厂商的软件定义策略
软件定义存储(Software Defined Storage，简称SDS)是指通过软件对存储设备进行定义，并能够根据用户需求分配这些存储资源，软件定义存储是软件定义数据中心不可缺少的一部分，其以虚拟化为基础，但又超脱了虚拟化范围。软件是存储的灵魂，硬件仅是存储的躯壳。大批存储厂商正在逐渐进入一个商用硬件的时代，减少对专用硬件的依赖，不仅削减了硬件的研发投入，战略重点也转向配套软件的价值上。软...
2019-12-04 15:31:55
720
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人