网易开源分布式存储系统 Curve，性能彪悍

最新推荐文章于 2024-08-06 05:18:39 发布
最新推荐文章于 2024-08-06 05:18:39 发布
阅读量424 收藏
点赞数
分类专栏： 程序员 java java程序 文章标签： java 开发语言 后端 javascript c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tomfyyds/article/details/121757446
版权
网易数帆开源了高性能分布式存储系统Curve，宣称性能超越Ceph达1.84倍，具备高性能、高可用和自治三大特性。Curve基于brpc和braft实现低延迟，采用创新磁盘IO策略提高并发度，已在网易内部核心业务中稳定运行，未来预计还有30%的性能提升空间。
摘要由CSDN通过智能技术生成

网易这回良心了：

7月16日，网易公司旗下云服务商网易数帆宣布开源一款名为 Curve 的高性能分布式存储系统，官方称其性能可达 Ceph 的 1.84 倍。

据官方介绍，Curve 的定位是提供一个高性能、低延迟的存储底座，基于这个存储底座，企业可以打造适用于不同应用场景的存储系统，如块存储、对象存储、云原生数据库等。

CURVE 的设计开发始终围绕三个理念：

一是顺应当前

最低0.47元/天 解锁文章
tomfyyds
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
网易国产开源分布式存储系统——Curve
weixin_59925054的博客
09-25 631
Curve 是云原生计算基金会 (CNCF) Sandbox 项目，是网易主导自研和开源的高性能、易运维、云原生的分布式存储系统。本文将介绍 CurveBS（块存储）相关的部分，并分享Curve在一些场景的应用。
网易开源分布式存储系统 Curve，性能彪悍！
Java技术栈，分享最主流的Java技术
07-18 684
Java技术栈www.javastack.cn关注阅读更多优质文章网易这回良心了：7月16日，网易公司旗下云服务商网易数帆宣布开源一款名为 Curve 的高性能分布式存储系统，官方称其性...
探索云原生存储的未来：Curve 项目全面解析
最新发布
gitblog_00029的博客
08-06 661
探索云原生存储的未来：Curve 项目全面解析 curveCurve 是一个开源的 API 网关，用于 Kubernetes 集群和应用管理，支持多种协议和负载均衡器。 * API 网关、Kubernetes 集群和应用管理、负载均衡器 * 有什么特点：支持多种协议和负载均衡器、易于集成和部署项目地址:https://gitcode.com/gh_mirrors/cu/curve 在云原生技...
分布式存储开发：Curve中的内存管理
NetEaseResearch的博客
11-13 9818
前言 Curve 实践过程中遇到过几次内存相关的问题，与操作系统内存管理相关的是以下两次： chunkserver 上内存无法释放 mds 出现内存缓慢增长的现象 内存问题在开发阶段大多很难发现，测试阶段大压力稳定性测试(持续跑7*24小时以上)、异常测试往往比较容易出问题，当然这还需要我们在测试阶段足够仔细，除了关注io相关指标外，还要关注服务端内存/CPU/网卡等资源使用情况以及采集的 metric 是否符合预期。比如上述问题 mds 内存缓慢增长 ，如果只关注io是否正常，在测试阶段是无法发现的
网易数帆Curve加入PolarDB开源数据库社区
云栖技术精选
03-16 173
Curve社区签署阿里巴巴开源CLA(Contribution License Agreement, 贡献许可协议), 正式与阿里云PolarDB 开源数据库社区牵手。 PolarDB for PostgreSQL 是阿里云自主研发的云原生数据库产品，并于2021年5月正式宣布开源。在2022年3月2日的开源 PolarDB 企业级架构发布会上，阿里云对 PolarDB for PostgreSQL 的存储计算分离等架构设计进行了全面解读。 100%兼容 PostgreSQL，采用基于共享.
四大开源分布式存储_开源软件丨网易开源分布式存储系统 Curve
weixin_39574943的博客
12-02 1357
喜欢就关注我们吧！CURVE 是网易开源的高性能、高可用、高可靠分布式存储系统，具有非常良好的扩展性。基于该存储底座可以打造适用于不同应用场景的存储系统，如块存储、对象存储、云原生数据库等。CURVE 的设计开发始终围绕三个理念：一是顺应当前存储硬件设施发展趋势，做到软硬件结合打造顶级的存储产品；二是秉持 “Simple Can be harder than complex”，了解问题...
网易数帆开源分布式存储Curve核心组件之ChunkServer数据节点.pdf
12-13
介绍Curve的数据节点ChunkServer，包括： - ChunkServer整体架构，自顶向下介绍每个模块的功能。 - ChunkServer的注册和心跳。 - CopysetNode，介绍ChunkServer中的Copyset实例工作流程，与braft交互的方式（建议...
网易数帆开源分布式存储Curve快照克隆子系统SnapshotClone.pdf
12-13
介绍Curve快照克隆服务器，包括： 快照克隆服务器整体架构。 Curve快照和克隆的特点。 快照总体流程介绍，从用户触发快照开始，介绍每个阶段的流程。 介绍ChunKServer端的快照机制，包括snap chunk的数据组织以及写...
网易数帆开源分布式存储Curve监控、运维与质量体系.pdf
12-13
介绍Curve使用的一些监控和运维方案以及质量控制方法。 - 监控体系总体介绍。 - 前端展示，结合例子展示怎样通过Grafana完成数据可视化。 - 后端监控架构，监控体系架构及各个组件之间的联系。 - Curve metric介绍，在Curve中怎样统计metric，使用了哪些类型的metric等。 - 运维管理，包括Curve上架标准，运维规范，应急预案等。 - 运维工具，包括curve-ansible部署工具，curve_ops_tool管理员工具等。 - 日志管理，ELK日志平台展示。 - 质量控制理论体系，Curve的单元测试，集成测试和系统测试方法。 - Curve流程控制。
curve分布式存储系统 v0.1.3
08-13
为您提供curve分布式存储系统下载，curve是网易开源的高性能、高可用、高可靠分布式存储系统，具有非常良好的扩展性。基于该存储底座可以打造适用于不同应用场景的存储系统，如块存储、对象存储、云原生数据库等。curve的设计开发始终围绕三个理念：一是顺应当前存储硬件设施发展趋势，做到软硬件结合打造顶级的存储产品；二是秉持“Simple Can be harder than complex”，了解问题本质情况下选择最简单的方案解决问题；
curve:Curve是一个分布式块，对象和文件存储平台
03-18
曲线 CURVE是由网易独立设计和开发的分布式存储系统，具有高性能，高可用性，高可靠性和良好的可扩展性，并且可以作为针对不同场景（例如块存储，对象存储和云）设计的存储系统的基础。数据库）。 到目前为止，我们已经实现了高性能的块存储系统，该系统支持快照，克隆和恢复，并且可以连接到QEMU虚拟机或物理机（通过curve-nbd）。在一段时间内，CURVE一直被用作网易内部的弹性块存储服务，在此期间，其性能和可靠性得到了体现。 设计文件 想看一眼CURVE吗？单击此处了解！ 需要更多细节吗？我们针对每个组件的文档： 基于CURVE的应用 快速开始 想尝试一下吗？慢慢来！我们会逐步帮助您，但请务必在开始之前阅读本。 部署多合一环境（以尝试CURVE的工作方式） 部署多计算机集群（在生产环境中尝试） curve_ops_tool简介 对于开发人员 部署构建和开发环境 编译测试用例并运行 编码风格
2024年最全分布式存储Ceph(一)_分布式文件存储 开源 c++(2)，2024年最新C C++系列学习进阶视频
2401_84976733的博客
05-15 431
而对象存储则将元数据独立了出来，控制节点叫元数据服务器（服务器+对象存储管理软件），里面主要负责存储对象的属性（主要是对象的数据被打散存放到了那几台分布式服务器中的信息），而其他负责存储数据的分布式服务器叫做OSD，主要负责存储文件的数据部分。当用户访问对象，会先访问元数据服务器，元数据服务器只负责反馈对象存储在哪些OSD，假设反馈文件A存储在B、C、D三台OSD，那么用户就会再次直接访问3台OSD服务器去读取数据。在ceph中，元数据也是存储在osd节点中的，mds类似于元数据的代理缓存服务器。
Curve 分布式存储在 KubeSphere 中的实践
KubeSphere
01-03 1911
Curve 介绍 Curve 是网易开发的现代存储系统，目前支持文件存储 (CurveFS) 和块存储 (CurveBS)。现在它作为一个沙盒项目托管在 CNCF。 Curve 是一个高性能、轻量级操作、本地云的开源分布式存储系统。Curve 可以应用于 : 1) 主流云本地基础设施平台 OpenStack 和 Kubernetes; 2) 云本地数据库的高性能存储 ; 3) 使用与 s3 兼容的对象存储作为数据存储的云存储中间件。 实现效果 通过部署 CurveFS 集群、Helm 部署 Curv
性能1.84倍于Ceph！网易数帆Curve分布式存储开源
网易数帆社区博客
07-21 433
在上周刚结束的网易数字+大会上 网易数帆宣布： 开源一款名为Curve的高性能分布式存储系统， 性能可达Ceph的1.84倍！ 网易副总裁、网易杭州研究院执行院长兼网易数帆总经理汪源： 基础软件的能力对于数字化转型非常关键，当前存储领域需要一款性能更高、可用性/可靠性更好、自治能力更强的分布式存储系统，Curve的开源不仅代表网易数帆在基础软件市场的坚持，也为软件定义基础设施生态的繁荣再添一把火。 采用先进架构设计 单卷性能1.84倍于Ceph Curve的定位，是提供一个高性能、低.
【网易C计划重磅启动】参与开源分布式存储Curve，抢校招offer！
热门推荐
NetEaseResearch的博客
12-21 1万+
前言 网易高性能分布式存储系统Curve已在github开源，开源以来受到了业界的广泛关注，现招募在校学生贡献者加入我们的开发。 Who？任何对分布式存储系统，Curve感兴趣的在校生，不限年级不限专业。 Why？ Curve是新一代开源高性能分布式存储系统，通过参与Curve的开发，你可以收获：大型分布式系统开发经验，和业界大牛协作学习的机会，表现优异者可以获得在网易实习的机会（人数不限），特别优异者有机会直接获得校招offer。 How？添加opencurve微信号联系我们，加微信号记得注明[报
【SDCC讲师专访】马进：网易十年一剑之分布式数据库DDB的架构更迭
Joy0921的博客
11-10 1356
2016年11月18日-20日，由CSDN重磅打造的年终技术盛会，SDCC 2016中国软件开发者大会将在北京举行，大会面向国内外中高端技术人员，聚焦最前沿技术及一线的实践经验，从而助力企业的技术升级和改造、全面提升技术人员的综合实力。十二大专题鼎立，大咖荟萃，一触即发。大会将至之际，我们有幸采访到高吞吐数据库架构专题的马进老师，他将在本次大会上带来主题为《分布式数据库DDB性能优化实践》的演讲。...
网易数帆开源分布式存储Curve：ChunkServer详解与性能优化
《网易数帆开源分布式存储Curve核心组件之ChunkServer数据节点》是一篇深入解析分布式存储系统Curve的详细介绍文档，主要关注于Curve的Data Node组件——ChunkServer。ChunkServer在Curve架构中扮演着至关重要的角色...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值