![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Curve
文章平均质量分 94
网易杭研
网易杭州研究院,简称“杭研”,是⽹易集团重点投⼊且唯一的研究院机构,定位于创新业务孵化、基础技术平台研发和前沿技术研究,2019年被认定为“国家企业技术中⼼”。
杭研是网易内部的基础技术研发中⼼和前沿技术研究中心,在云计算、⼤数据、安全、人工智能、移动互联⽹和前端等方面进⾏前沿技术研究、关键技术攻关和基础技术平台研发,服务⽹易系游戏、邮箱、音乐、电商、新闻、有道等产品,触达近10亿⽤户。
同时,杭研⼜是网易新业务的孵化器,已成功孵化云⾳乐、云课堂、严选、考拉海购等产品,⽬前杭研事业群下设有元气事业部、数字产业事业部、智慧企业事业部、易盾事业部为集团孵化更多C端/B端创新业务。
展开
-
Copyset Replication -- Curve的数据分布策略
Copyset模块结合chunk的放置共同解决了集群数据如何分布的问题,这里主要的设计考虑点是数据分布的均衡性以充分利用磁盘空间和避免热点。原创 2021-04-30 18:15:28 · 3123 阅读 · 4 评论 -
【网易C计划重磅启动】参与开源分布式存储Curve,抢校招offer!
前言网易高性能分布式存储系统Curve已在github开源,开源以来受到了业界的广泛关注,现招募在校学生贡献者加入我们的开发。Who?任何对分布式存储系统,Curve感兴趣的在校生,不限年级不限专业。Why? Curve是新一代开源高性能分布式存储系统,通过参与Curve的开发,你可以收获:大型分布式系统开发经验,和业界大牛协作学习的机会,表现优异者可以获得在网易实习的机会(人数不限),特别优异者有机会直接获得校招offer。How?添加opencurve微信号联系我们,加微信号记得注明[报原创 2020-12-21 09:30:36 · 12465 阅读 · 0 评论 -
开源分布式存储Curve ChunkServer CPU优化实践
Curve ChunkServer的CPU瓶颈问题Curve是网易数帆开源的新一代分布式存储系统,具有高性能、高可用、高可靠的特点,可作为多种存储场景的底层存储,包括块存储、对象存储、云原生数据库、EC等。对于分布式块存储系统来说,IOPS是最重要的一个性能指标。从Curve目前的性能测试情况看,读IOPS瓶颈在Client端——对于6个存储节点的集群,单个Client节点读IOPS接近30万,两个Client节点读IOPS接近60万。而Curve的写IOPS还有一定提升空间——对于6个存储节点的集原创 2020-12-15 09:12:53 · 13119 阅读 · 0 评论 -
Raft算法在Curve中的实践
Curve作为高性能、高可用、高可靠的新一代分布式存储系统,对于多副本数据同步,负载均衡,容灾恢复方面都有较高的要求。Curve选用Raft算法作为底层一致性协议,并基于Raft的特性,实现了异常情况下的数据迁移和自动恢复。下面首先简要介绍一下Raft算法的一些基本概念和术语,再详细介绍其在Curve中的实践。Raft一致性算法介绍Raft算法中,有Leader,Follower,Candidate三种角色,它们之间的转换关系如下图:在同一时刻,只能有一个Leader,当选Leader.原创 2020-11-23 20:27:55 · 11956 阅读 · 0 评论 -
Curve技术解析之MDS元数据管理
curve简介curve是今年7月份开源的一个⾼性能、⾼可⽤、⾼可靠的分布式存储系统,主打⾼性能、低延迟。Curve设计可以作为多种存储场景的底层存储:例如块存储,对象存储,云原⽣数据库,EC等。当前Curve已实现⾼性能块存储,并且基于这⼀场景对接了openstack 和 k8s。openstack上主要是⽤作云主机的系统盘和云盘,⽬前已经在线上稳定一年多了。k8s上主要是想作为计算节点的数据⽬录,这个场景⽬前在灰度环境中测试验证中。当前curve的整个项目已经完全开源到github,感兴原创 2020-11-18 20:52:03 · 19362 阅读 · 1 评论 -
分布式存储开发:Curve中的内存管理
前言Curve 实践过程中遇到过几次内存相关的问题,与操作系统内存管理相关的是以下两次:chunkserver 上内存无法释放 mds 出现内存缓慢增长的现象内存问题在开发阶段大多很难发现,测试阶段大压力稳定性测试(持续跑7*24小时以上)、异常测试往往比较容易出问题,当然这还需要我们在测试阶段足够仔细,除了关注io相关指标外,还要关注服务端内存/CPU/网卡等资源使用情况以及采集的 metric 是否符合预期。比如上述问题 mds 内存缓慢增长 ,如果只关注io是否正常,在测试阶段是无法发现的原创 2020-11-13 18:53:56 · 9797 阅读 · 0 评论 -
【系列公开课】Curve核心团队深度解读:如何打造新一代超高性能分布式存储系统
7月16日,网易数帆宣布开源性能1.84倍于Ceph的新一代高性能分布式存储系统Curve,3个多月低调开发时间过去之后,Curve项目又成熟了不少。那么,Curve又有哪些新的技术进展?Curve独特的核心架构设计如何实现?其远超其他开源存储的性能优化是怎么做到的?未来Curve社区将会如何发展?接下来的1个多月,Curve核心开发团队将带来精心准备的Curve 新一代分布式存储技术系列公开课(直播+回放),每周五晚为大家揭开Curve技术的奥妙及Curve社区的规划,敬请关注!课程概述Cur原创 2020-10-28 17:52:58 · 6670 阅读 · 1 评论