【数据库入门】什么是对象存储？如何配置S3? | OushuDB

于 2022-07-22 14:51:01 发布
阅读量3.8k 收藏 4
点赞数
分类专栏： 国产数据库 数据库 OushuDB 文章标签： 数据库 云计算 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oushukeji/article/details/125932358
版权
本文介绍了对象存储的基本概念，强调其无限存储、数据安全和运维便捷的特点。OushuDB支持的对象存储类型包括Amazon S3和腾讯云COS。详细阐述了S3的配置步骤，包括修改配置文件和配置注意事项，并展示了如何在OushuDB中创建和操作S3外部表及内表。
摘要由CSDN通过智能技术生成

基本概念

对象存储，也称为“面向对象的存储”，英文是Object-based Storage。

它综合了网络附加存储(NAS)和存储局域网(SAN)的优点，同时具有SAN的高速直接访问和NAS的分布式数据共享等优势，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。

对象存储允许将计算基础架构与存储需求分离。可以在对所有数据进行存储的同时无需监控存储，因此方便扩展并向云中的集群添加节点。它本质上就是一个key-value结构，key是文件的URL路径，value是对应的文件，没有传统文件系统那种目录树的结构，不能直接打开修改文件，只能先下载、修改，再上传文件，所以不支持append和truncate操作，操作接口比较简单，主要接口命令有 PUT/GET/DELETE等。

优点

  1. 无限存储 ：服务商可以不停的往资源池里面增加资源
  2. 数据安全可靠性高：多个数据中心间复制数据，至少可以保证11个9的数据持久性
  3. 运维方便：客户不需要考虑硬件以及存储的运维工作，只要支付相应费用，这些都交由服务商处理

OushuDB支持的对象存储类型

  1. Amazon Simple Storage Service (简称S3) 
    亚马逊AWS服务在2006年正式对外推出的云计算对象存储服务。提供行可扩展性、数据可用性、安全性和性能。
  2. 腾讯云对象存储（Cloud Object Storage, COS）
    腾讯云提供的一种用于存储海量文件的简单、可拓展、方便获取和分享数据的分布式存储服务，类似于网盘，可以存储任何类
最低0.47元/天 解锁文章
偶数科技
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
《ANCHOR：区分 “湖仓一体” 和 “湖仓分体” 的锚》
08-03 1201
一、从数据仓库说起1990 年，数据仓库之父比尔·恩门 (Bill Inmon) 率先提出了数据仓库的概念，其专著《建立数据仓库》指出数据仓库为分析决策服务，是一个面向主题的、集成的、非易失的且随时间变化的数据集合。2000 年开始，数据仓库在国内得到了广泛的推广，电信和银行业最早建立起数据仓库。比尔·恩门 (Bill Inmon)业务增长源源不断的产生数据，这些数据存储在业务数据库中，也就是我们常说的 OLTP 数据库。当积压的历史数据越来越多，对业务数据库产生负载，导致业务系统运行速度降低；同时，在日益
博客
技术分享丨你的数据库为什么这么慢？
08-18 292
当你发现数据库查询特别慢的时候，并且从硬件配置、SQL优化和索引等方面都找不出原因，那你可能需要从数据库的计算引擎本身的性能找下原因。数据库的计算引擎性能有多重要？我们可以拿汽车做个简单类比。服务器硬件配置是基础设施，相当于汽车行驶的道路，高速公路和山村土路的行驶效果肯定是不一样的；SQL的查询优化相当于驾驶水平；而数据库计算引擎就相当于汽车发动机，既是数据库性能的源动力，也是各家厂商最核心的技术壁垒。那么，我们就从数据库计算引擎的实现技术探究下如何提高数据库性能。下图是从客户端发出一条SQ
博客
国家数据局正式揭牌，2030年数据要素市场规模或破万亿
11-10 160
国家数据局的成立将有助于强化数据要素制度供给，构建数据流通体系，激活数据生产力，对于构建新发展格局、建设现代化经济体系、构筑国家竞争新优势具有重大意义。数据要素是数字经济的发展基础和关键要素，国家数据局正式揭牌，无论是对于加强数据要素利用，还是完善数据安全治理，都是中国顺应数字经济的特别之举，有助于发展数字经济，抓住全球新一代科技发展浪潮。按照相关文件，国家数据局将负责协调推进数据基础制度建设，统筹数据资源整合共享和开发利用，统筹推进数字中国、数字经济、数字社会规划和建设等，由国家发展和改革委员会管理。
博客
偶数科技亮相2023中国程序员节——数据库技术高峰论坛
11-10 143
为了进一步推动国产数据库技术的发展和应用，本次论坛汇聚了业界专家、学者，围绕多模态、分布式、国产迁移、湖仓一体、开源社区等数据库技术话题开展交流与探讨，增进广大程序员对前沿新技术及应用的深入了解，拓展知识深度。至此，开放格式，一份数据，多个引擎的架构初步形成，这样的“一数多擎”架构形成了可以破局当前企业数据困境的方案——实时湖仓（Realtime Lakehouse）。● 针对结构化数据，需要兼容开放数据格式，兼顾实时查询、离线分析、高并发和高可用的分析引擎，比如偶数的OushuDB。
博客
偶数科技携Skylab实时湖仓数据平台亮相2023全国中小企业数字化转型大会
11-10 303
会议期间，偶数科技等典型企业的数字化转型新技术、新产品、新应用、新模式集聚亮相，系统展示了全国中小企业数字化转型成效。偶数科技Skylab实时湖仓是一个拥有海量数据存储、计算、分析、应用和 AI 能力的数据平台，提供完整的数据管理生态闭环，帮助用户实现批流一体、实时数据处理、自动化机器学习、自助可视化分析和数据资产管理。同时，偶数科技的代表在大会上分享了公司在数字化转型方面的成功案例和独到见解，其在中国移动、国家电网、建设银行等头部企业的最佳实践，引起了参会者的广泛关注和讨论，为与会嘉宾提供了借鉴和启示。
博客
OushuDB 专家认证第四期报名开始啦！
11-10 153
培训课程立足学员的实际工作需求，内容涵盖了 OushuDB 的产品功能、原理和技术讲解，并将理论与实践相结合，模拟各类真实使用场景，将丰富的技术知识与经验传递给学员。OushuDB 是新一代分布式云原生数据库，可轻松构建企业核心数仓、数据集市、实时数仓以及湖仓一体数据平台，拥有众多的技术创新点和广阔的市场前景。未来，偶数科技会更加努力为客户、合作伙伴以及所有数据库爱好者，提供更多具有创新性、实用性、前瞻性的优质培训内容，创造更深远的社会价值。2023年11月9日9:00—11月30日12:00。
博客
从北京到南京：偶数在能源行业的数据迁移实践
10-20 236
由于北京数据中心原来的服务器机型老旧，不兼容南京数据中心即将搭建的新集群，因此本次迁移通过搭建临时集群的方式，在北京数据中心将原有数据文件同步至临时集群，再将临时集群搬迁至南京数据中心，临时集群和南京集群组建新的OushuDB 集群，导入备份数据。除了以上平台能力建设的大幅提升，该客户基于平台开放格式的统一数据存储，还可以选用和优化不同大数据组件（如处理结构化数据、非结构化数据和流式数据的不同计算引擎），可落地的多引擎融合能力，让该客户在能源领域提早布局实时分析和人工智能，抓住数字化转型先机。
博客
大模型、实时需求推动湖仓平台走向开放
10-20 270
IDC 调研显示，企业在数字化商业过程中更加关心利用数据和信息来创造自身竞争优势，因此实现底层统一的数据管理是进行上层资产管理和业务决策分析的关键。以往，由于技术水平的制约和方案的局限性，我们难以实现底层统一的数据管理。因此，为了能用更丰富的数据源训练AI模型，我们以极高的代价将数仓的数据导出；为了实现实时数据处理，我们不惜选择冗长的数据处理链路，造成多份数据和多个计算引擎烟囱林立。
博客
有湖有仓，如何升级到湖仓一体
10-20 132
很多企业在过去的 IT 基础建设过程中，都已经搭建了数据仓库或数据湖，或者两者都有。其中数据仓库一般使用的是传统 Oracle 或者传统 MPP 数据库，如 Teradata 和 Greenplum，数据湖使用 Hadoop 大数据平台。所以在考虑湖仓一体升级改造时，就会有一个疑问——假如企业既有数据湖又有数据仓库，该选择基于湖还是仓进行湖仓一体的升级改造呢？讨论通过湖或者仓进行湖仓一体升级，我们要知道现有的数据湖和数据仓库分别使用的什么架构，然后我们才能知道选择什么路径，使用什么技术。
博客
Gartner发布2023年最新技术成熟度曲线，偶数科技位列湖仓一体代表厂商
10-20 247
Gartner 认为，湖仓一体（Lakehouse）是一个将数据湖的灵活性和数据仓库的规范性、易用性和高性能的特点结合起来的融合基础架构，无物理和逻辑的数据孤岛。曲线由五个部分组成，分别对应了新技术发展的五个阶段：技术刚刚流行的启动期、随着关注度提升的热门关注期、热度下降的低谷期、爬升期、高原期。目前，偶数的湖仓一体已经在金融、电信、能源和互联网等行业中得到应用，同时，其技术优势与成长性也得到了诸如建设银行、中国移动等头部客户的认可。该技术逐步成型，出现了成功的案例，一些敏锐的公司开始跟进。
博客
偶数科技发布实时湖仓数据平台Skylab 5.3版本
10-20 553
近日， 偶数发布了最新的实时湖仓数据平台 Skylab 5.3 版本。Skylab包含七大产品，分别为云原生分布式数据库 OushuDB、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、自动化机器学习平台 LittleBoy、数据工厂 Wasp、数据开发与调度平台 Flow、系统管理软件Lava，在本次的新版本升级中以上全线产品都进行了更新。
博客
偶数科技与白鲸开源完成兼容性认证
08-01 589
WhaleStudio 是白鲸开源科技根据全球领先的 DataOps 理念打造的新一代数据集成调度工具，它由两大核心组件组成，WhaleScheduler 与 WhaleTunnel，将全球领先的调度开发组件与数据集成组件集成在一起提供给用户全球领先的完整解决方案。新一代执行器显著提升批处理和按需即席查询效率，采用计算存储分离架构，解决了传统数据库高成本、高门槛、难维护、难扩展的问题。测试结果显示，双方产品相互良好兼容，稳定运行、安全，同时可以满足性能需求，为企业级应用提供可靠保证。
博客
湖仓一体概念快问快答
08-01 285
过往，构建湖只能用 Hadoop 技术栈，否则存不下，做数仓就得用 MPP 数据库，这本来就是割裂的，而现阶的湖仓一体就不再有这样的问题，所以湖和仓都在新的一体化平台中，是架构上的统一。很多云厂商都提供了数据湖和数据仓库架在自己的云底座上面的，确切的说是提供了云上的 MPP 和云上的 Hadoop，尽管实现了逻辑上的湖仓一体，但是湖+仓≠湖仓一体，云上的 MPP+Hadoop 仍然会各自形成数据孤岛和数据冗余，仍要通过复杂的管理组件实现仓和湖的数据同步，本质上大多数厂商的湖仓分体现状是一样的。
博客
偶数科技亮相第十届中国中小企业投融资交易会
08-01 589
本届投融会展览面积逾一万平方米，主要参展机构包括中国建设银行、中国工商银行、中国银行、中国农业银行、民生银行、光大银行、广发银行、招商银行、微众银行、北京银行、清源资本、平安普惠、中信建投等几十家金融机构、地方政府展团等参与展示。在大会开幕仪式中，第十二届全国政协副主席、全国工商联原主席王钦敏指出，要坚决贯彻落实党中央决策部署，为中小企业发展营造良好环境，加大对中小企业支持力度，坚定企业发展信心，着力在推动企业创新上下功夫，加强产权保护，激发涌现更多专精特新中小企业。
博客
入选首批共建单位，偶数科技亮相TDBC2023可信数据库发展大会
08-01 107
近日，由中国信息通信研究院、中国通信标准化协会指导，中国通信标准化协会大数据技术标准推进委员会、InfoQ 联合主办的"2023可信数据库发展大会"在京召开，大会发布多项信通院及相关机构在数据库领域的研究成果，其中包括《中国数据库产业图谱（2023）》和数据库应用创新实验室电信行业工作组，偶数科技作为电信行业工作组首批共建单位在会上亮相。下一步，协会将加快推进数据库领域关键技术标准体系研制，充分发挥标准引领作用，助力我国数据库产业高质量发展，共筑数字经济可信底座，为我国数字经济发展做出更大贡献。
博客
偶数科技发布实时湖仓数据平台Skylab 5.3版本
08-01 509
近日， 偶数发布了最新的实时湖仓数据平台 Skylab 5.3 版本。Skylab包含七大产品，分别为云原生分布式数据库 OushuDB、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、自动化机器学习平台 LittleBoy、数据工厂 Wasp、数据开发与调度平台 Flow、系统管理软件Lava，在本次的新版本升级中以上全线产品都进行了更新。
博客
Gartner发布2023年最新技术成熟度曲线,偶数科技位列湖仓一体代表厂商
08-01 172
Gartner 认为，湖仓一体（Lakehouse）是一个将数据湖的灵活性和数据仓库的规范性、易用性和高性能的特点结合起来的融合基础架构，无物理和逻辑的数据孤岛。曲线由五个部分组成，分别对应了新技术发展的五个阶段：技术刚刚流行的启动期、随着关注度提升的热门关注期、热度下降的低谷期、爬升期、高原期。目前，偶数的湖仓一体已经在金融、电信、能源和互联网等行业中得到应用，同时，其技术优势与成长性也得到了诸如建设银行、中国移动等头部客户的认可。该技术逐步成型，出现了成功的案例，一些敏锐的公司开始跟进。
博客
Transformer 要占领地球了，大语言模型最全盘点！
08-01 267
随着最近半年 ChatGPT 火爆全球，基于 Transformer 架构的大语言模型（LLM）逐渐走入大众视野，可以说，Transformer 在AI 领域的影响力绝不亚于变形金刚在科幻领域的影响力。Transformer 的核心思想是使用自注意力机制（Self-Attention Mechanism）来建立序列之间的依赖关系。就在2年前，很多模型主要还是基于长短期记忆（LSTM）和递归神经网络（RNN）的其他变体，而如今大语言模型都是基于 Transformer 的注意力机制。
博客
OushuDB × 东方证券：数据仓库信创国产化最佳实践
05-12 738
OushuDB 在完成国产数仓平台迁移的基础上还在拓展能力和性能方面实现了升级，同时还提供了超出预期的三大能力——实时查询、超高并发、弹性扩容，随着数据化转型的升级，这几类能力变得越来越重要，是未来各行业 IT 建设的必选项。与一个大型金融机构相匹配的，正是东方证券当前管理的海量数据。在系统平台数据迁移与应用迁移试运行阶段，偶数工程师提供了全面的运维技术支持，包括系统故障排错、系统性能调优、系统监控、故障点排查、集群节点故障迁移等，同时完成了东方证券数仓平台性能测试、非功能测试，平台试运行阶段全程保障。
博客
偶数社区投稿丨OushuDB学习实践系列（一）：开一家超市
04-17 450
我也不知道是哪位前辈祖先，但是我们可以想到，第一个开超市的人一定明白了交换的价值，他开超市成功了，并且摸索出了一套基本的规范，后人根据这样的规范，开了类似的场所、店铺，而后逐渐有了市场、有了行业。开了一家超市，你自然就是这个超市的主人，同样的，当你创建数据库后，你就自动成为了这个新数据库的主人（所有者），以后开不开这家超市，是否删除掉这个数据库，都是你来决定。你当时选择开超市，是看到别人开超市赚钱了，有利可图，你才开始做这件事的，并且有了一个比较成熟的市场规范，那么，第一个开超市的人是谁？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值